Vad är hadoop exakt? en cyniker teori

Allt som ser för bra ut för att vara sant är vanligtvis. Sådant kan vara fallet med Apache Hadoop, det mycket öppen källkodsprojektet som alla fortsätter att prata om. Så vad är exakt den här saken? Bra fråga!

Experter tvivelaktiga

Analytiker Mark Madsen från Third Nature spikade den vid väggen för en stund tillbaka i en liten bit på InsideAnalysis.com: "Vad Hadoop är. Vad Hadoop inte är." Som någon som vet hur man utformar lösningar i verkligheten och sedan distribuerar dem, bör hans råd inte ignoreras.

Men det rinner en djupare ström här, och tiden är nära att upptäcka rötterna till denna fascinerande flora, för att se om vi inte kan få ett perspektiv på vad som händer på mer av en makronivå. När allt kommer omkring säger säljare att det är en stor sak, och det finns så många deltagare.

Anställ kommittéerna! (?)

Tre företag äger för närvarande huvuddelen av Hadoops nya marknad: Cloudera, Hortonworks och MapR. På en nyligen ganska kontroversiell briefing via Boulder BI Brain Trust (#BBBT) gjorde Jim Walker från Hortonworks denna nyfikna kommentar:

"Du kan inte främja tekniken om du inte använder anställda!"

Kom igen?

Låter detta inte som något som senator Palpatine kan säga i en Star Wars-film?

Sen Palpatine: "Anställ pendlarna!"

Närliggande Minion: "Men, men, herr! Tänk på barnen!"

För lekmannen där ute som bara försöker få saker att göra, är pendlare människor som är hängivna till ett visst open source-projekt. Apache Foundation har strikta protokoll genom vilka deras projekt går framåt, vilket ofta är bra.

Som sagt berättar Walker kommentar för undersökning. En spetsig fråga (med risk för trollande lekplatsdagar) skulle vara: Är det ett löfte eller ett hot? Säger han att Hortonworks kanske bara tar sin boll och går hem?

Samarbete eller tävling?

Den intressanta om paradoxala vinkeln här är att enligt uppgift är de flesta av pendlarna på Hadoop-teamet (cirka 30 eller så totalt) från Hortonworks och Cloudera - som är konkurrenter. Detta är ett mycket nyfiken fall av konkurrens.

Så, vad är affären? Här är en utbildad gissning: Hadoop är i stor utsträckning berömd sin berömmelse till en smart plan utformad av en grupp av Silicon Valley riskkapitalister och ingenjörer som i huvudsak försöker säkra sina satsningar mot Oracle.

Den allmänna idén är att fröa marknaden med en grund för kod som kan förbättras och förstärkas av en rag-tag-flotta av utvecklare som idealiskt, med tiden, kommer att skapa en mängd datahanteringsverktyg, inklusive databasprodukter. VC: erna kan investera och utbetala en dag. Men det finns några allvarliga utmaningar i spelet.

Som alla monolitiska företag befinner sig Oracle sig ofta i många mindre spelares korsstolar. Och vem vill inte bara ha en bit av sina intäktsinkomster? Enbart under det sista kvartalet bokade Oracle ~ 9 miljarder dollar. Men att utmana Big Red och slå dem är två mycket olika verkligheter.

Gratis webcast: Vad är Hadoop och vart går det? Gå med Eric Kavanagh, Robin Bloor och Techopedia för en diskussion om hur Hadoop är väldigt annorlunda från Linux eller SOA, och varför dess framtid till stor del är oskrivet.

Förpackningsproblem

Saken med Hadoop, i sig, är att det inte är en paketerad lösning på något sätt. Det är snarare en komplex samling moduler som gör det möjligt för högkvalitativa programmerare att utnyttja massiva parallella behandlingsalgoritmer för att göra mycket specifika saker. Men det finns inget fint användargränssnitt, och manualerna är brutala.

Lägg till den utmaningen detta kritiska hinder: du behöver också affärsmän som har åtminstone en allmän förståelse för vad det kan göra. Dessa människor måste kunna framkalla idéer om hur det kan användas och sedan kommunicera till utvecklarna, som sedan måste producera, testa, implementera och stödja applikationer.

Orkestrera denna dans är hur Cloudera och Hortonworks tjänar mycket av sina pengar. Problemet är att de flesta av de lösningar som skapats via denna metod är unika och fokuserar vanligtvis på operativa system i motsats till analytiska. Översättning? Sådana saker lämpar sig inte riktigt till paketerade programvaruprodukter.

Förpackningens lönsamhet!

Det som leder oss tillbaka till Oracle. Larry Ellison och pojkarna gör deras hö som säljer databas teknik, hårdvara, tjänster och (vänta på det …) paketerad programvara. Cloudera har tydligen räknat ut detta, därmed deras fokus på Impala. Men Hortonworks?

Deras modell verkar närmare efterlikna RedHat, de människor som byggde en miljarder dollar-verksamhet ovanpå Linux-operativsystemet. Nary en stor leverantör inom företagssoftwareindustrin skriver inte för Linux, OS som IBM ledde Microsoft av vid passet. Men Hadoop är ingen Linux, inte på lång tid.

Dr Geoffrey Malafsky, en före detta nanoteknolog för den amerikanska marinen, nu en datavetare med Phasic Systems och PSIKORS-institutet, destillerar Hadoop-värdet på detta sätt:

"Hadoop är bra för sökning, mycket stor trendanalys för stokastiska resultat, och troligtvis en mycket billig smart parallellbehandling av saker som min ex-fru brukade göra: kvantmekanisk vågfunktionsberäkning av fast tillstånd och kemiska reaktioner. Denna riktiga vetenskap förlitar sig på superdatorer och flyttade något till parallellbehandling, men det är en hård förändring av programmeringsstrategin. Unga, smarta, energiska doktorander kommer att vara de som får detta att hända. Jag misstänker att forskningsbidrag börjar gå i denna riktning för vissa högdrivna beräkningar applikationer."

Du kommer att märka att det inte låter något som datalagring, business intelligence, data integration eller till och med big data. Det låter som superdator. Och av någon intressant anledning har världarna med högpresterande datoranvändning och affärsintelligens aldrig verkligen kolliderat eller sammanfogats på något meningsfullt sätt.

Long Road Ahead för Hortonworks och Cloudera

Och här är de riktigt dåliga nyheterna för Hortonworks och eventuellt Cloudera. De stora leverantörerna som IBM och SAP och Oracle och Teradata - för att uttrycka detta mildt och för att citera Dire Straits: "Dem killar är inte dumma!" För tre och fler år sedan rullade alla ut allvarliga Hadoop-strategier.

Centralt i dessa planer är de saker saker som affärsanvändare förväntar sig: grafiska användargränssnitt, dra-och-släpp-funktionalitet, modellerings- och upptäcktsverktyg, arbetsflöde, styrning, säkerhet; kort sagt, alla bitar och delar som gör företagsprogramvara användbar. Och naturligtvis har dessa stora leverantörer massiva installationsbaser.

För att vara säker har Cloudera och Hortonworks båda landat bra affärer, men bara en liten bråkdel av vad de stora aktörerna får varje år. Gör matematiken på hur mycket utmanarna tar ut sina kunder, jämfört med hur mycket deras omkostnader sannolikt är, och bilden är inte så rosa. Visst, det är i linje med kursen när det gäller programvaruproblem, men ändå …

Hadoops framtid?

Så kan vi se den klassiska våg av förvärv, som vi hade tillbaka i aughterna, när IBM köpte Cognos, Oracle fick Hyperion och SAP knäppte BusinessObjects? Kanske, men de nya barnen i detta kvarter äger inte Hadoop; de lånar bara det. Och så lovande som YARN och Tez kan vara, verkar släppcyklerna hålla sig bakom vad de tunga hittarna producerar.

Bara förleden kommenterade en branschinsider att politiken på Apache kan vara en allvarlig flaskhals. Detta är inte särskilt förvånande, speciellt när du tänker på de dollar som är inblandade - det finns stor motivation för innovatörer att slå den rik. Och har någon lagt märke till hur Chrome verkar ha överträffat Firefox i funktionalitet och användbarhet nyligen? Stängd källa, någon?

En sak är säker: det här spelet kommer att spela på några intressanta sätt. Ja, däggdjur (läs: småförsäljare) kan ofta gå över dinosaurierna; men det finns fortfarande alligatorer och krokodiler över hela världen; och om du snubblar på en omedveten, kanske du bara upptäcker hur skarpa dessa tänder kan vara. Några krokar tillsammans skulle till och med kunna ta ner en elefant eller två.