Co je hadoop přesně? cynická teorie

Vše, co vypadá příliš dobře, aby to byla pravda, obvykle je. Může tomu tak být v případě Apache Hadoop, což je projekt s otevřeným zdrojovým kódem, o kterém všichni mluví. Co přesně tedy je? Dobrá otázka!

Odborníci pochybují

Analytik Mark Madsen z Třetí přírody to chvíli přibil na zeď v kousku kousku na InsideAnalysis.com: „Co je Hadoop. Co Hadoop není.“ Jako někdo, kdo ví, jak navrhovat řešení v reálném světě, pak je skutečně nasadit, by jeho rady neměly být ignorovány.

Téká zde však hlubší proud a je čas blížit se ke kořenům této fascinující flóry, abychom zjistili, zda nemůžeme získat nějaký pohled na to, co se děje na více makro úrovni. Koneckonců, prodejci říkají, že je to velký problém, a je jich tolik účastníků.

Zaměstnejte Committers! (?)

V současné době vlastní většinu vznikajícího trhu Hadoop tři společnosti: Cloudera, Hortonworks a MapR. Na nedávném, docela sporném briefingu prostřednictvím Boulder BI Brain Trust (#BBBT), Jim Walker z Hortonworks učinil tento zvědavý komentář:

"Nemůžete pokročit v technice, pokud zaměstnavatele nepoužíváte!"

Přijít znovu?

Nezní to jako něco, co by mohl senátor Palpatine říci ve filmu Star Wars?

Palpatine: „Zaměstnejte spáchatele!“

Poblíž Minion: "Ale, ale, pane! Myslete na děti!"

Pro laiky, kteří se tam jen snaží udělat věci, jsou komitéry lidé, kteří se věnují konkrétnímu open-source projektu. Nadace Apache má přísné protokoly, kterými jejich projekty postupují kupředu, což je často dobrá věc.

To znamená, že Walkerův komentář vyžaduje vyšetření. Jedna položená otázka (s rizikem vykouzlení dětských dnů) by byla: Je to slib nebo hrozba? Říká, že si Hortonworks mohl vzít jen svůj míč a jít domů?

Spolupráce nebo konkurence?

Zajímavý, pokud paradoxní úhel je zde údajně, že většina členů týmu Hadoop (asi 30) jsou od Hortonworks a Cloudera - kteří jsou konkurenty. Toto je velmi zvědavý případ konkurence.

Co se tedy děje? Zde je vzdělaný odhad: Hadoop do značné míry vděčí za svou slávu chytrému plánu vytvořenému skupinou ventiliálních kapitalistů a inženýrů ze Silicon Valley, kteří se v zásadě snaží zajistit své sázky proti Oracle.

Obecnou myšlenkou je nasazení trhu základem kódu, který lze vylepšit a posílit flotilou rag-tag vývojářů, kteří v ideálním případě postupem času vytvoří všechny nástroje pro správu dat, včetně databázových produktů. VC mohou jednoho dne investovat a vydělávat. Ve hře jsou však některé závažné výzvy.

Stejně jako všechny monolitické podniky se i Oracle často ocitá v nitkovém kříži mnoha menších hráčů. A kdo by nechtěl jen kousek svých znecitlivělých příjmů? Jen v posledním čtvrtletí si společnost Oracle rezervovala ~ 9 miliard dolarů. Ale náročná Big Red a jejich porážka jsou dvě velmi odlišné skutečnosti.

Webcast zdarma: Co je to Hadoop a kam to jde? Připojte se k Ericu Kavanaghovi, Robin Bloorovi a Techopedii a diskutujte o tom, jak se Hadoop výrazně liší od Linuxu nebo SOA, a proč je jeho budoucnost do značné míry nepsaná.

Problémy s balením

Sama o Hadoopu je taková, že nejde v žádném případě o zabalené řešení. Spíše jde o komplexní soubor modulů, které umožňují vysoce kvalitním programátorům využívat masivní algoritmy paralelního zpracování k provádění velmi specifických věcí. Neexistuje však žádné fantastické uživatelské rozhraní a příručky jsou brutální.

Přidejte k této výzvě tuto kritickou překážku: potřebujete také podnikatele, kteří mají alespoň obecnou představu o tom, co dokáže. Tito lidé musí být schopni vykouzlit myšlenky, jak ji lze použít, a poté komunikovat s vývojáři, kteří musí následně vytvářet, testovat, implementovat a podporovat aplikace.

Organizace tohoto tance je, jak Cloudera a Hortonworks vydělávají hodně ze svých peněz. Problém je, že většina řešení vytvořených touto metodou je jedinečná a obvykle se zaměřuje na operační systémy na rozdíl od analytických systémů. Překlad? Věci, jako je to, není opravdu půjčovat sebe na zabalené softwarové produkty.

Ziskovost balení!

Což nás přivádí zpět k Oracle. Larry Ellison a chlapci dělají své seno prodávajícím databázové techniky, hardware, služby a (počkejte na to …) zabalený software. Cloudera zřejmě na to přišla, a proto se zaměřili na Impalu. Ale Hortonworks?

Zdá se, že jejich model více napodobuje model RedHat, lidí, kteří vybudovali obchod s miliardou dolarů na vrcholu operačního systému Linux. Nary, hlavní dodavatel v oboru podnikového softwaru, nepíše pro Linux, OS, kterým IBM předala společnost Microsoft při průchodu. Ale Hadoop není Linux, ne z dlouhého rána.

Geoffrey Malafsky, bývalý nanotechnolog pro americké námořnictvo, nyní datový vědec ve společnosti Phasic Systems a Institutu PSIKORS, destiluje nabídku hodnot Hadoop takto:

„Hadoop je skvělý pro vyhledávání, velmi rozsáhlou analýzu trendů pro stochastické výsledky a pravděpodobně nějaké velmi levné chytré paralelní zpracování věcí, jako to bývala moje bývalá manželka: kvantová mechanická vlnová funkce výpočtu pevných látek a chemických reakcí. Tato skutečná věda se opírá o na superpočítačích a poněkud posunuté do paralelního zpracování, ale je to těžká změna programovacího přístupu. Mladí, inteligentní a energetičtí studenti postgraduálního studia se stanou těmi, kteří to provedou. aplikace. “

Všimnete si, že to nezní nic jako skladování dat, obchodní inteligence, integrace dat nebo dokonce velká data. Zní to jako superpočítač. A z nějakého zajímavého důvodu se světy vysoce výkonných počítačů a business inteligence nikdy neshromažďovaly ani neshromažďovaly žádným smysluplným způsobem.

Dlouhá cesta dopředu pro Hortonworks a Cloudera

A tady jsou opravdu špatné zprávy pro Hortonworks a možná Clouderu. Velcí prodejci jako IBM a SAP a Oracle a Teradata - aby to uvedli mírně a citovali Dire Straits: „Ti chlapi nejsou hloupí!“ Před třemi a více lety byly všechny zavedeny seriózní strategie Hadoop.

Ústředním bodem těchto plánů jsou druhy věcí, které uživatelé očekávají: grafické uživatelské rozhraní, funkce drag-and-drop, nástroje pro modelování a objevování, pracovní postup, správa, zabezpečení; zkrátka všechny kousky, díky nimž je podnikový software použitelný. Tito velcí prodejci mají samozřejmě masivní instalační základny.

Cloudera i Hortonworks si jistě zajistily dobrý obchod, ale jen nepatrný zlomek toho, co každý rok hlavní hráči získají. Udělejte matematiku o tom, kolik poplatků účtují zákazníci, v porovnání s tím, kolik je jejich režijní pravděpodobnost, a obrázek není tak růžový. Je pravda, že to je par pro kurz se starými softwarovými obavami, ale stále …

Budoucnost Hadoopu?

Mohli bychom tedy vidět klasickou vlnu akvizic, jako bychom se vrátili v aughts, když IBM koupila Cognos, Oracle dostal Hyperion a SAP nabbed BusinessObjects? Možná, ale nové děti v tomto bloku nevlastní Hadoop; prostě si to půjčují. A jak slibné mohou být YARN a Tez, zdá se, že uvolňovací cykly zaostávají za produkcí těžkých hitterů.

Ještě druhý den zasvěcenec v průmyslu uvedl, že politika v Apache může být vážnou překážkou. To není nijak zvlášť překvapivé, zvláště když vezmete v úvahu zapojené dolary - pro inovátory existuje velká motivace, aby je udržela bohatě. A všiml si někdo, jak se zdá, že Chrome v poslední době překonal Firefox ve funkčnosti a funkčnosti? Uzavřený zdroj, někdo?

Jedna věc je jistá: tato hra se bude hrát několika zajímavými způsoby. Ano, savci (čtení: malí prodejci) mohou dinosaury často předběhnout; ale po celém světě stále existují aligátoři a krokodýli; a pokud narazíte na jednoho nevědomého, můžete jen zjistit, jak ostré mohou být ty zuby. Několik crocs spolu mohlo dokonce sundat slona nebo dva.