F:
Vilka omständigheter ledde till ökningen av big data-ekosystemet?
A:Det finns många faktorer som bidrog till framväxten av dagens big data ekosystem, men det finns en allmän enighet om att big data kom till på grund av en mängd hårdvara och mjukvarukonstruktioner som helt enkelt tillät stor data att existera.
| Webinar: Big Iron, Meet Big Data: Liberating Mainframe Data with Hadoop & Spark Registrera här |
En konventionell definition av big data är följande: Datauppsättningar som är tillräckligt stora och komplexa för att de trotsar enkel iterativ hantering eller hantering för hand. Stora datauppsättningar identifieras ofta som datauppsättningar som inte kan passa in i ett enkelt databasnätverk, eftersom deras analys kräver för mycket arbete från servrarna som hanterar datan.
Med detta i åtanke är en stor del av det som skapade big data idén vi känner till som Moore's Law eller fördubblingen av transistorer på en krets vartannat år, vilket skapar allt mindre hårdvaru- och datalagringsenheter (samt kraftigare mikroprocessorer) . I samband med Moore's Law, och förmodligen på grund av den, fortsatte beräkningsförmågan hos tillgängliga programvarusystem att öka, till och med till och med att persondatorer kunde hantera mycket större mängder data, och affärs- och förrådssystem började kunna hantera datastorlekar tänkbart bara flera år innan. Personliga system flyttade från kilobyte till megabyte och sedan till gigabyte, i en process som är transparent för konsumenterna. Vanguard-system flyttade från gigabyte till terabyte och petabyte och till storleksordningar som zetabyte, på sätt som var mycket mindre öppna för den genomsnittliga medborgaren.
Ett annat framsteg för stora data var förändringar på sätt som hanterare bearbetade datamängder. I stället för linjär behandling genom en konventionell relationell databasdesign, började hanterare att använda verktyg som Apache Hadoop och relaterade hårdvarahanteringsdelar för att eliminera flaskhalsar i dataprocesser.
Resultatet är den stora datavärlden som vi lever i, där massiva datauppsättningar lagras och underhålls i datacentra, och allt mer åtkomliga av ett brett spektrum av tekniker för ett brett spektrum av användningar. Från handel till ekologi, från offentlig planering till medicin blir big data mer och mer tillgängligt. Samtidigt driver myndigheter och andra större organisationer fortfarande gränserna för stordatastorlekar och implementerar ännu mer avancerade lösningar.
