Se zvýšeným přijetím Hadoop v tradičních podnikových IT řešeních a zvýšeným počtem implementací Hadoop v produkčním prostředí se stává zásadní potřeba, aby se odborníci Hadoop pro správu a správu starali o velké klastry Hadoop.
Odpovědnosti správce Hadoop:
- Odpovědný za implementaci a průběžnou správu infrastruktury Hadoop.
- Spojení s týmem systémového inženýrství s cílem navrhnout a nasadit nová hardwarová a softwarová prostředí požadovaná pro Hadoop a rozšířit stávající prostředí.
- Spolupráce s týmy pro doručování dat při nastavování nových uživatelů Hadoop. Tato úloha zahrnuje nastavení uživatelů systému Linux, nastavení principů Kerberos a testování přístupu HDFS, Hive, Pig a MapReduce pro nové uživatele.
- Údržba klastrů i vytváření a odstraňování uzlů pomocí nástrojů jako Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage a dalších nástrojů.
- Ladění výkonu klastrů Hadoop a rutiny Hadoop MapReduce.
- Projděte si výkony úloh clusteru Hadoop a plánování kapacity
- Monitorujte připojení a zabezpečení clusteru Hadoop
- Spravujte a kontrolujte soubory protokolu Hadoop.
- Správa a monitorování souborového systému.
- Podpora a údržba HDFS.
- Pečlivě spolupracujte s týmy infrastruktury, sítě, databáze, aplikací a business intelligence, abyste zaručili vysokou kvalitu a dostupnost dat.
- Spolupráce s aplikačními týmy na instalaci operačního systému a aktualizací, oprav, aktualizací verzí Hadoop v případě potřeby.
- Kontaktní místo pro eskalaci dodavatele
Hadoop Administration je obohacující a lukrativní kariéra se spoustou příležitostí k růstu. Pokud vás výše uvedené pracovní povinnosti zajímají, pak je čas zdokonalit se ve správě Hadoop a dostat se na kariérní cestu Hadoop Admin.
míchání dat tabla nefunguje
Odpovědnosti DBA prováděné správcem Hadoop:
- Modelování, návrh a implementace dat na základě uznávaných standardů.
- Instalace a konfigurace softwaru.
- Zálohování a obnovení databáze.
- Připojení a zabezpečení databáze.
- Monitorování a ladění výkonu.
- Správa místa na disku.
- Softwarové opravy a upgrady.
- Automatizujte ruční úkoly.
Odpovědnosti za vývoj DWH prováděné správcem Hadoop:
Odpovědnost za správu správců DWH zahrnuje vývoj, testování a monitorování dávkových úloh pro následující úkoly:
- Zajistěte referenční integritu.
- Proveďte provedení primárního klíče.
- Proveďte přepracování dat.
- Načtěte velké objemy dat včas.
Nyní, když víte o pracovních povinnostech správce Hadoop, pojďme se podívat na dovednosti potřebné k tomu, abyste byli jedním.
Dovednosti potřebné k tomu, abyste se stali správcem Hadoop:
- Obecné provozní znalosti, jako jsou dobré dovednosti při odstraňování problémů, porozumění kapacitě systému, úzká místa, základy paměti, CPU, OS, úložiště a sítě.
- Hadoop dovednosti jako HBase, Hive, Pig, Mahout atd.
- Nejzákladnější požadavky jsou: Měli by být schopni nasadit klastr Hadoop, přidávat a odebírat uzly, sledovat úlohy, monitorovat kritické části klastru, konfigurovat vysokou dostupnost jmenného uzlu, plánovat a konfigurovat jej a provádět zálohy.
- Dobrá znalost Linuxu, protože Hadoop běží na Linuxu.
- Znalost nástrojů pro správu a nasazení konfigurace open source, jako je skriptování Puppet nebo Chef a Linux.
- Znalost řešení potíží se základními aplikacemi Java je výhodou.
Edureka speciálně připravila kurz administrace Hadoop. Kliknutím na tlačítko níže můžete začít s administrací Hadoop a zjistit, jak vám kurz pomůže stát se administrátorem Hadoop.
Související příspěvky:
jak používat balíčky v Javě