Utvecklingen av big data

I början av 2000-talet var det tydligt att det fanns ett stort behov av innovation när det gäller data. Begränsningar för vad företag kunde göra med sina data frustrerade chefer och minskade effektiviteten enormt. Många företag lagrade enorma mängder information, men kunde helt enkelt inte hantera, analysera eller manipulera den till deras fördel. Det är detta växande tryck som gav plats för big data-gränsen.

2003 skapade Google MapReduce, en dataprogram som gjorde det möjligt för företaget att bearbeta och analysera information om sina sökfrågor på tusentals servrar på kort tid. Både skalbar och anpassningsbar gav programmet Google möjlighet att utföra tusentals datauppgifter på bara några minuter, vilket förbättrade produktiviteten och omdefinierade uppfattade gränser om vad som kunde göras med data. Nästan tio år senare har big data blivit en central grund för informationstekniken. Dess långtgående omfattning och förmåga har i grunden förändrat datahantering på arbetsplatsen. Men vad har lett till denna utveckling och hur exakt kommer stora data att påverka framtiden? Vi trodde att du aldrig skulle fråga. (För lite bakgrundsläsning av big data, kolla in Big Data: Hur det är fångat, krossat och används för att fatta affärsbeslut.)

Söker svar på Big Data-frågor

Det vackra med MapReduce var hur det förenklade mycket komplexa uppgifter. Kommunikation kan hanteras över maskiner, systemfel kan hanteras och inputdata kan organiseras automatiskt, en process som kunde övervakas av individer som inte längre behövde högtekniska färdigheter. Genom att göra databehandling inte bara möjlig utan lättillgänglig inspirerade Google en kulturell förändring i datahantering. Det tog inte lång tid innan tusentals stora företag använde MapReduce för sina uppgifter.

Men det var ett problem: MapReduce var helt enkelt en programmeringsmodell. Även om det underlättade grunderna för databehandling, var det inte självt svaret på befintliga databrister; det var bara ett välbehövligt steg i rätt riktning. Företag behövde fortfarande ett system som kunde tillgodose deras unika databehov och gå utöver det väsentliga med datahantering. Kort sagt, tekniken som behövs för att utvecklas.

Gå in i Hadoop

Gå in i Hadoop, en öppen källkodsprogramvara skapad av flera programmerare, inklusive Doug Cutting. Där MapReduce var grundläggande och bred, gav Hadoop en uppfriskande specificitet. Företag kunde utforma sina egna skräddarsydda applikationer som hanterade databehov på sätt som ingen annan programvara kunde, och det var i allmänhet kompatibelt med andra filsystem. Ett företag med begåvade programmerare kunde utforma ett filsystem som skulle uppnå unika uppgifter med data som verkade oåtkomliga tidigare. Kanske det bästa med det var att utvecklare skulle dela applikationer och program med varandra som kunde beskrivas och perfekteras.

Genom att demokratisera en så viktig resurs blev Hadoop en trend. Att många stora företag, särskilt sökmotorföretag, tyckte ju att de hade behövt det i årtionden! Det tog inte länge innan sökmotorjättarna som Yahoo tillkännagav implementeringen av stora Hadoop-applikationer som genererade data som användes i webbsökfrågor. I det som verkade som en våg tillkännagav flera framstående företag antagandet av denna teknik för deras massiva databaser, inklusive Facebook, Amazon, Fox, Apple, eBay och FourSquare. Hadoop satte den nya standarden för databehandling.

Big Data, stora problem

Medan framstegen inom datateknologi har omformat hur företag behandlar data, tycker många chefer dem fortfarande outrustade för hela utbudet av nödvändiga uppgifter. I juli 2012 släppte Oracle en undersökning av mer än 300 chefer på C-nivå, som avslöjade att medan 36 procent av företagen litar på IT för att hantera och analysera data, 29 procent av dem anser att deras system saknar tillräckliga förmågor för att möta sina företag behov. Studiens kanske mest slående resultat var att 93 procent av de tillfrågade trodde att deras företag tappade upp till 14 procent av sina intäkter genom att inte kunna använda insamlade data. Det är intäkter som kan spenderas på att skapa bättre produkter och anställa fler arbetare. I en tid där företag kämpar för att hålla sig lönsamma är det nödvändigt att förbättra data så att företag kan bli mer lönsamma. Undersökningen indikerar att trots de som tror att big data: s inflytande på handeln redan har passerat, har möjligheterna för tillväxt och avancemang som den har ännu inte fullt ut förverkligats.

Vad framtiden har för Big Data

Den goda nyheten är att Hadoop och MapReduce har inspirerat många andra datahanteringsverktyg. Många nya företag skapar omfattande dataplattformar som körs på Hadoop, men erbjuder ett brett utbud av analytiska funktioner och enklare systemintegration. Det verkar som att företag har investerat en hel del resurser för att hantera dataproblem och dataföretagens ekonomiska framgång har varit ett bevis på detta. 2010 gjorde dataföretag uppskattningsvis 3, 2 miljarder dollar i detaljhandeln. Många experter har uppskattat att detta antal kommer att växa till en enorm $ 17 miljarder endast 2015. Detta är ett faktum som inte har gått förlorat på några av de största teknikföretagen. Både IBM och Oracle har spenderat miljarder under de senaste månaderna för att förvärva dataföretag. Många andra företag kommer att göra liknande drag under de kommande åren eftersom de fortsätter att sträva efter en konkurrenskraftig marknadsandel.

The Big Data Frontier

Mängden data som samlas in fortsätter att växa exponentiellt, vilket har vissa oroliga och andra upphetsade. Uppsidan är att människor kommer att fortsätta att bli mer produktiva och anpassningsbara när vi lär oss nya saker om vår värld genom analys av data. Nackdelen är att det finns en så stor mängd data att många fruktar att vi inte kan förvara det hela, mycket mindre ordentligt hantera det så att det kan användas av alla som behöver det.

Som sagt, framsteg inom big data kan ge enastående möjligheter till lösningar på brådskande frågor rörande data. Exempelvis har experter föreslagit att om big data implementerades korrekt med tonvikt på effektivitet och kvalitet, skulle det ha potential att spara cirka 300 miljarder dollar per år ensam i utgifter för hälsovården; detaljhandlare skulle kunna förbättra sina rörelsemarginaler, den offentliga sektorn skulle kunna erbjuda bättre tjänster och stora företag skulle spara miljarder. Och så verkar det som att lösa våra dataproblem inte bara behövs i företagets styrelserum, utan överallt. Som säger bra saker om big data: s framtid - och kanske också.