V tomto blogu se podívejme, jak vytvořit Spark pro konkrétní verzi Hadoop.
Naučíme se také, jak postavit Spark pomocí HIVE a YARN.
nainstalovat php na Windows 8
Vzhledem k tomu, že ano Hadoop, jdk, mvn a jít předinstalovaný a předkonfigurovaný ve vašem systému.
Otevřeno Prohlížeč Mozilla a Stáhnout Jiskra pomocí níže uvedeného odkazu.
https://edureka.wistia.com/medias/k14eamzaza/
Otevřete terminál.
Příkaz: tar -xvf Soubory ke stažení / spark-1.1.1.tgz
Příkaz: ls
Otevřete adresář spark-1.1.1.
Můžete otevřít pom.xml soubor. Tento soubor vám poskytuje informace o všech závislosti potřebuješ.
Neupravujte to, abyste se vyhnuli problémům.
Příkaz: cd spark-1.1.1 /
Příkaz: sudo gedit sbt / sbt-launch-lib.bash
Upravte soubor podle níže uvedeného snímku, uložte jej a zavřete.
Zmenšujeme paměť, abychom se vyhnuli problémům s haldy objektů, jak je uvedeno v následujícím snímku.
Nyní spusťte níže uvedený příkaz v terminálu a vytvořte jiskru pro Hadoop 2.2.0 s HIVE a YARN.
Příkaz: ./sbt/sbt -P příze -P úl -Phadoop-2,2 -D hadoop.verze = 2.2.0 -D skipTests shromáždění
Poznámka: Moje verze Hadoop je 2.2.0, můžete ji změnit podle vaší verze Hadoop.
Pro ostatní verze Hadoop
# Apache Hadoop 2.0.5-alfa
-Dhadoop.version = 2.0.5-alfa
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0,23 -Dhadoop.verze = 0.23.7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
Sestavení a zabalení bude nějakou dobu trvat, počkejte prosím, až bude kompletní.
Dvě sklenice spark-assembly-1.1.1-hadoop2.2.0.jar a spark-examples-1.1.1-hadoop2.2.0.jar se vytvoří.
Cesta z spark-assembly-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Cesta z spark-examples-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Gratulujeme, úspěšně jste postavili Spark pro Hive & Yarn.
Máte na nás dotaz? Uveďte je prosím v sekci komentáře a my se vám ozveme.
Související příspěvky:
Apache Spark s Hadoop - proč je to důležité?