Obsah:
Definice - Co znamená MapReduce?
MapReduce je programovací model zavedený společností Google pro zpracování a generování rozsáhlých datových souborů na klastrech počítačů.
Google nejprve vytvořil rámec pro účely indexování webových stránek Google a nový rámec nahradil dřívější algoritmy indexování. Vývojáři pro začátečníky považují framework MapReduce za výhodný, protože knihovní rutiny lze použít k vytváření paralelních programů bez obav z komunikace v rámci klastru, monitorování úkolů nebo procesů řešení poruch.
MapReduce běží na velké skupině komoditních strojů a je vysoce škálovatelný. Má několik forem implementace poskytovaných několika programovacími jazyky, jako je Java, C # a C ++.
Techopedia vysvětluje MapReduce
Rámec MapReduce má dvě části:
- Funkce nazvaná „Mapa“, která umožňuje distribuovat jejich práci různým bodům distribuovaného klastru
- Funkce nazvaná "Reduce", která je navržena tak, aby zmenšila výslednou podobu výsledků shluků na jeden výstup
Hlavní výhodou rámce MapReduce je odolnost proti chybám, kdy se po dokončení práce očekávají pravidelné zprávy z každého uzlu v klastru.
Úloha se přenáší z jednoho uzlu do druhého. Pokud hlavní uzel zjistí, že uzel mlčí po delší dobu, než se očekávalo, hlavní uzel provede proces přiřazení k zmrazené / zpožděné úloze.
Rámec MapReduce je inspirován funkcemi "Map" a "Reduce" používanými ve funkčním programování. Výpočetní zpracování probíhá u dat uložených v souborovém systému nebo v databázi, která bere sadu hodnot vstupních klíčů a vytváří sadu hodnot výstupních klíčů.
Ve shlucích Google se každý den provádí mnoho programů MapReduce a MapReduce. Programy jsou automaticky paralelizovány a prováděny na velké skupině komoditních strojů. Runtime systém se zabývá rozdělením vstupních dat, naplánováním provádění programu na sadu strojů, řešením poruch stroje a správou požadované intermachine komunikace. Programátoři bez jakýchkoli zkušeností s paralelními a distribuovanými systémy mohou snadno využít zdroje velkého distribuovaného systému.
MapReduce se používá v distribuovaném grepu, distribuovaném třídění, obrácení grafu linkového grafu, statistikách protokolu přístupu na web, shlukování dokumentů, strojového učení a statistického strojového překladu.
