Q:
Jaké okolnosti vedly ke vzniku ekosystému velkých dat?
A:K vzniku dnešního velkého datového ekosystému přispělo mnoho faktorů, existuje však obecná shoda v tom, že k velkým datům došlo díky řadě návrhů hardwaru a softwaru, které jednoduše umožnily existenci velkých dat.
| Webinář: Big Iron, Seznamte se s velkými daty: Osvoboďte mainframe data pomocí Hadoop & Spark Registrujte se zde |
Obvyklá definice velkých dat je následující: Datové sady, které jsou dostatečně velké a složité, aby vzdorovaly snadnému iteračnímu řízení nebo ručnímu řízení. Velké datové sady jsou často identifikovány jako datové sady, které se nevejdou do jednoduché databázové sítě, protože jejich analýza vyžaduje příliš mnoho práce ze strany serverů, které data zpracovávají.
S ohledem na to je hlavní část toho, co vytvořilo velká data, myšlenka, kterou známe jako Mooreův zákon, nebo zdvojnásobení tranzistorů na obvodu každé dva roky, vytvoření stále menších hardwarových a datových úložných zařízení (stejně jako výkonnějších mikroprocesorů) . Ve spojení s Mooreovým zákonem, a pravděpodobně kvůli tomu, se výpočetní schopnost přístupných softwarových systémů neustále zvyšovala, a to až do bodu, kdy i osobní počítače zvládly mnohem větší množství dat, a obchodní a předvojské systémy začaly zvládat velikosti dat nepředstavitelné jen před několika lety. Osobní systémy se přesunuly z kilobajtů do megabajtů a poté do gigabajtů, což bylo pro spotřebitele transparentní. Vanguardské systémy se přesunuly z gigabajtů do terabytů a petabytů a na řády jako zetabytů, a to způsobem, který byl pro průměrného občana mnohem méně transparentní.
Dalším pokrokem v přizpůsobování velkých dat byly změny ve způsobu, jakým zpracovatelé zpracovávají soubory dat. Spíše než lineární zpracování prostřednictvím konvenčního návrhu relační databáze začali obsluhující pracovníci používat nástroje, jako je Apache Hadoop a související části správy hardwaru, aby odstranili úzká místa v datových procesech.
Výsledkem je velký datový svět, ve kterém žijeme, kde se v datových centrech ukládají a udržují masivní soubory dat a stále více se k nim používá široká škála technologií pro širokou škálu použití. Od obchodu po ekologii, od veřejného plánování až po medicínu jsou velká data stále přístupnější. Mezitím vládní agentury a další větší organizace stále posouvají hranice velkých dat a implementují ještě pokročilejší řešení.
