jaké je použití serializace v Javě
Hadoop Job Tacker
Job Tracker je hlavním démonem jak pro správu zdrojů Job, tak pro plánování / monitorování úloh. Funguje jako prostředník mezi společností Hadoop a vaší aplikací.
Proces
Před odesláním úlohy klientovi uživatel nejprve zkopíruje soubory do systému DFS (Distributed File System). Klient pak obdrží tyto vstupní soubory. Uživatel obdrží rozdělení nebo bloky na základě vstupních souborů.Klient mohlvytvořte rozdělení nebo bloky u mužener to prefprotože za tím jsou určité úvahy. Pokud je provedena analýza úplných dat, rozdělíte data na rozdělení. Soubory se nekopírují přes klienta, ale kopírují se pomocí flume nebo Sqoop nebo jakéhokoli externího klienta.
Jakmile jsou soubory zkopírovány do DFS a klient s DFS interaguje,na rozdělení bude spuštěna MapReduce job. Úloha se odesílá prostřednictvím sledovače úloh. Sledovač úloh je hlavní démon, který běží na stejném uzlu jako tentoběžítěchto více úloh na datových uzlech. Tato data budou ležet na různých datových uzlech, ale je odpovědností sledovatele úloh, aby se o to postaral.
Poté, co se klient přihlásísledovač úloh, je úloha inicializována ve frontě úloh a sledovač úloh vytváří mapy a zmenšuje. Na základě programu, který je obsažen v mapové funkci a funkci redukce, vytvoří úlohu mapy a zmenší úlohu. Tito dva poběží na vstupních rozděleních. Poznámka: Když je vytvořeno klienty, obsahuje toto vstupní rozdělení celá data.
Každé vstupní rozdělení má v sobě spuštěnou úlohu mapy a výstup úlohy mapy jde do úlohy zmenšení. Sledovač úloh spustí stopu na konkrétních datech. Může existovat několik replikací, takže vybere místní data a spustí úlohu na tomto konkrétním sledovači úloh. Sledovač úloh je ten, který skutečně spouští úlohu v datovém uzlu. Sledovač úloh projdeinformacedo sledovače úloh a sledovač úloh spustí úlohu v datovém uzlu.
Jakmile je úloha přiřazena ke sledovači úkolů, je každému sledovači úloh a sledovačům úloh přiřazen prezenční signál. Odesílá signály, aby zjistil, zda jsou datové uzly stále naživu. Ty dva jsou často synchronizované, protože existuje možnost, že uzly vyblednou.
zvýšit něco na sílu v Javě
Máte na nás dotaz? Uveďte je v sekci komentáře a my se vám ozveme.
Související příspěvky:
výuka informatiky pro začátečníky pdf ke stažení zdarma