Vývoj velkých dat

Na začátku roku 2000 bylo zřejmé, že existuje obrovská potřeba inovací, pokud jde o údaje. Omezení toho, co firmy mohou dělat se svými daty, frustrovalo vedení a neskutečně snížilo účinnost. Mnoho společností uložilo obrovské množství informací, ale jednoduše je nedokázalo spravovat, analyzovat nebo manipulovat ve svůj prospěch. Právě tento rostoucí tlak ustoupil na hranici velkých dat.

V roce 2003 Google vytvořil MapReduce, datovou aplikaci, která firmě umožnila zpracovat a analyzovat informace o svých vyhledávacích dotazech na tisících serverech v krátkém časovém úseku. Program byl škálovatelný i přizpůsobitelný a umožnil Googlu provádět tisíce datových úkolů za pouhé minuty, což zlepšilo produktivitu a znovu definovalo vnímané hranice toho, co lze s daty udělat. Téměř o 10 let později se velká data stala ústředním principem informačních technologií. Jeho dalekosáhlý rozsah a schopnost zásadně změnila správu dat na pracovišti. Co však tento vývoj podnítilo a jak přesně budou mít velká data dopad na budoucnost? Mysleli jsme, že se nikdy neptáte. (Chcete-li si přečíst informace o velkých datech na pozadí, podívejte se na Big Data: Jak je to zachyceno, rozdrceno a zvyknuto na obchodní rozhodnutí.)

Hledání odpovědí na velké datové otázky

Krása MapReduce byla tím, jak zjednodušila velmi složité úkoly. Komunikace by mohla být řízena napříč stroji, bylo možné řešit selhání systému a automaticky uspořádat vstupní data, což je proces, na který by mohli dohlížet jednotlivci, kteří již nepotřebují vysoce technické dovednosti. Díky tomu, že zpracování dat bylo nejen možné, ale i přístupné, inspirovala společnost Google kulturní posun ve správě dat. Netrvalo dlouho, než tisíce velkých firem používaly MapReduce pro jejich data.

Ale byl tu jeden problém: MapReduce byl prostě programovací model. Ačkoli to usnadnilo základy zpracování dat, nebylo to samo o sobě odpovědí na stávající nedostatky dat; byl to jen velmi potřebný krok správným směrem. Korporace stále potřebovaly systém, který by mohl řešit jejich jedinečné potřeby v oblasti dat a překračovat rámec holých zásad správy dat. Stručně řečeno, technologie se potřebovala vyvinout.

Zadejte Hadoop

Zadejte Hadoop, open-source framework software vytvořený několika programátory, včetně Doug Cuttinga. Tam, kde byl MapReduce základní a široký, poskytoval Hadoop osvěžující specifičnost. Společnosti mohly navrhovat své vlastní aplikace šité na míru, které řeší potřeby dat způsobem, který žádný jiný software nemohl, a byl obecně kompatibilní s jinými systémy souborů. Firma s talentovanými programátory mohla navrhnout souborový systém, který by dokázal dosáhnout jedinečných úkolů s daty, která se dříve zdála nedosažitelná. Asi nejlepší na tom bylo, že vývojáři budou sdílet aplikace a programy mezi sebou, které by mohly být vysvětleny a zdokonaleny.

Demokratizací tak důležitého zdroje se Hadoop stal trendem. Koneckonců, mnoho velkých společností, zejména firem vyhledávačů, mělo pocit, že je potřebují po celá desetiletí! Netrvalo dlouho, než giganti vyhledávacích strojů, jako je Yahoo, ohlašovali implementaci velkých aplikací Hadoop, které generovaly data použitá ve vyhledávacích dotazech na webu. V době, kdy se zdálo jako vlna, několik významných společností oznámilo přijetí této technologie pro své rozsáhlé databáze, včetně Facebooku, Amazonu, Foxu, Apple, eBay a FourSquare. Hadoop stanovil nový standard pro zpracování dat.

Velká data, velké problémy

Zatímco pokrok v datové technologii změnil způsob, jakým společnosti zpracovávají data, mnoho vedoucích pracovníků je stále považuje za nevyřízené pro celou řadu požadovaných úkolů. V červenci 2012 společnost Oracle zveřejnila průzkum více než 300 vedoucích pracovníků na úrovni C, který odhalil, že zatímco 36 procent společností se spoléhá na to, že IT spravuje a analyzuje data, 29 procent z nich má pocit, že jejich systémy postrádají dostatečné schopnosti, aby vyhovovaly jejich společnostem. potřeby. Asi nejvýraznějším zjištěním studie bylo, že 93 procent respondentů věřilo, že jejich firma ztrácí až 14 procent svých příjmů tím, že nebude schopna použít shromážděná data. To jsou příjmy, které by mohly být použity na výrobu lepších produktů a najímání více pracovníků. V době, kdy společnosti usilují o ziskovost, je nezbytné zlepšovat údaje tak, aby se firmy staly ziskovějšími. Průzkum ukazuje, že navzdory těm, kteří se domnívají, že vliv velkých dat na obchod již prošel, příležitosti k růstu a pokroku, které drží, dosud nebyly plně využity.

Co budoucnost drží pro velká data

Dobrou zprávou je, že společnosti Hadoop a MapReduce inspirovaly mnoho dalších nástrojů pro správu dat. Mnoho nových společností vytváří rozsáhlé datové platformy, které běží na Hadoopu, ale nabízejí širokou škálu analytických funkcí a snadnější integraci systému. Zdá se, že korporace investovaly velké množství prostředků do řešení problémů s údaji a finanční úspěch datových firem je toho důkazem. V roce 2010 provedly datové firmy v maloobchodním prodeji odhadem 3, 2 miliardy dolarů. Mnoho odborníků odhaduje, že tento počet poroste až do roku 2015 na neuvěřitelných 17 miliard dolarů. To je skutečnost, která nebyla ztracena u některých z největších technologických společností. Jak IBM, tak Oracle za posledních několik měsíců utratily miliardy za získání datových firem. Mnoho dalších firem učiní v následujících letech podobné kroky, protože budou i nadále soupeřit o konkurenční podíl na trhu.

Hranice velkých dat

Množství údajů, které se sbírají, neustále roste exponenciálně, což se někteří obávají a další vzrušení. Nevýhodou je, že lidské bytosti se budou i nadále stávat produktivnějšími a přizpůsobivějšími, když se pomocí analýzy dat budeme učit nové věci o našem světě. Nevýhodou je, že existuje tak velké množství dat, že mnozí se obávají, že nejsme schopni vše řádně ukládat, mnohem méně řádně spravovat, aby je mohli využívat všichni, kdo je potřebují.

Pokroky v oblasti velkých dat však mohou poskytnout bezprecedentní příležitosti pro řešení naléhavých otázek týkajících se dat. Odborníci například navrhli, že pokud by byla velká data správně implementována s důrazem na efektivitu a kvalitu, mohla by ušetřit pouze 300 miliard dolarů ročně pouze na výdaje na zdravotní péči; maloobchodníci by mohli zlepšit své provozní marže, veřejný sektor by mohl poskytovat lepší služby a velké podniky by ušetřily miliardy. Zdá se tedy, že řešení našich datových problémů není nutné pouze v zasedacích místnostech společnosti, ale všude. Což říká dobré věci o budoucnosti velkých dat - a možná i naší.