Jednou z nejatraktivnějších funkcí rámce Hadoop je jeho využití komoditního hardwaru . To však vede k častým haváriím DataNode v clusteru Hadoop. Další pozoruhodnou vlastností Hadoop Framework je snadnost škálování v souladu s rychlým růstem objemu dat . Z těchto dvou důvodů je jedním z nejběžnějších úkolů správce Hadoop komise (Přidat) a vyřazení z provozu (Odebrat) datové uzly v clusteru Hadoop.
jak spustit AWS cli
Uzly pro uvedení do provozu a vyřazení z provozu v klastru Hadoop:
Výše uvedený diagram ukazuje postup krok za krokem k vyřazení DataNode z provozu v clusteru.
Prvním úkolem je aktualizovat „ vyloučit „Soubory pro oba HDFS (hdfs-site.xml) a MapReduce (mapred-site.xml).
Soubor „vyloučit“:
- pro jobtracker obsahuje seznam hostitelů, které by měl Jobtracker vyloučit. Pokud je hodnota prázdná, nejsou vyloučeni žádní hostitelé.
- pro Namenode obsahuje seznam hostitelů, kteří se nemohou připojit k Namenode.
Tady je ukázková konfigurace pro soubor vyloučení v souborech hdfs-site.xml a mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / vylučuje
skutečný
mapred-site.xml
mapred.hosts.vyloučit
/ home / hadoop / vylučuje
skutečný
Poznámka: Je nutné zadat úplnou cestu k souborům.
Podobně máme soubory „zahrnout“:
- pro jobtracker obsahující seznam uzlů, které se mohou připojit k JobTrackeru. Pokud je hodnota prázdná, jsou povoleni všichni hostitelé.
- pro Namenode obsahující seznam hostitelů, kteří se mohou připojit k Namenode. Pokud je hodnota prázdná, jsou povoleni všichni hostitelé.
„ dfsadmin ' a ' mradmin „Příkazy obnoví konfiguraci změnami, aby si byly vědomy nového uzlu.
„ otroci Soubor na hlavním serveru obsahuje seznam všech datových uzlů. To musí být také aktualizováno, aby se zajistilo jakékoli problémy v budoucím spuštění / zastavení démona hadoop.
Důležitým krokem v procesu provize datového uzlu je spuštění nástroje Cluster Balancer.
> hadoop balancer - prahová hodnota 40
Vyvažovač pokusí se zajistit rovnováhu na určitou prahovou hodnotu mezi datovými uzly kopírováním dat bloku ze starších uzlů do nově uznaných uzlů.
Takto můžete udělat - Uvedení do provozu a Vyřazení z provozu Uzly v klastru Hadoop.
Máte na nás dotaz? Uveďte to prosím v sekci komentáře a my se vám ozveme.
Související odkazy: