Apache Falcon: Nová platforma pro správu dat pro ekosystém Hadoop



Apache Falcon je nová platforma pro správu dat pro ekosystém Hadoop, která zjednodušuje připojení zpracování krmiva a správu krmiva v klastrech hadoop. Naučte se, jak to nastavit.

Apache Falcon je rámec pro správu životního cyklu dat v klastrech Hadoop. Vytváří vztah mezi různými daty a prvky zpracování v prostředí Hadoop a poskytuje také služby správy zdrojů, jako je uchovávání zdrojů, replikace napříč klastry, archivace atd.





Nejprve si promluvme o tom, jak nastavit Apache Falcon. Spuštěním níže uvedeného příkazu stáhněte úložiště git Falconu:

Příkaz: git clone https://git-wip-us.apache.org/repos/asf/falcon.git sokol



git-command-apache-falcon

Chcete-li spustit sokola, musíte jej nejprve postavit.

jak vygenerovat náhodný řetězec v javě

Příkaz: CD sokol



Příkaz: export MAVEN_OPTS = ”- Xmx1024m -XX: MaxPermSize = 256m -noverify” && mvn clean install -DskipTests

Příkaz: mvn clean assembly: assembly -DskipTests -DskipITs

Jakmile si postavíte sokola, najdete v adresáři / falcon / distro / target / balíček sokolů.

Příkazy pro stavbu sokola vypadají velmi snadno, ale před zobrazením zprávy Build Success budete čelit mnoha problémům. Při stavbě pro Hadoop-2.2.0 jsem čelil spoustě problémů

Abych tedy přeskočil bolest při budování Falconu, dávám vám úspěšně postavený balíček sokola, který si můžete stáhnout pomocí níže uvedeného odkazu.

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

Rozbalte soubor a získáte adresář falcon-0.10.

Příkaz: rozbalte falcon-0.10-SNAPSHOT.zip

Nastavte proměnné prostředí flacon v souboru .bashrc.

Příkaz: sudo gedit .bashrc

Příkaz: zdroj .bashrc

Můžete přejít do adresáře falcon a zobrazit soubory a adresáře v něm.

Příkaz: cd falcon-0.10-SNAPSHOT /

Příkaz: je

Skripty sokolů najdete uvnitř bin adresáře.

Spuštěním následujícího příkazu spusťte Falcon.

Příkaz: ./bin/falcon-start

Nyní uvidíte spuštěného nového démona FalconServer.

Příkaz: jps

Příkaz: ./bin/falcon admin - verze

Otevřete prohlížeč a přejděte na localhost: 15000 . Můžete vidět webové uživatelské rozhraní Falcon.

Máte na nás dotaz? Uveďte je v sekci komentářů a my se vám ozveme.

Související příspěvky:

Vrtání na Apache Drill