Úl a příze jsou elektrizovány jiskrou

V tomto blogu Apache Spark & ​​big data se podívejme, jak vytvořit Spark pro konkrétní verzi Hadoop. Naučíme se také, jak postavit Spark pro YARN a HIVE.

V tomto blogu se podívejme, jak vytvořit Spark pro konkrétní verzi Hadoop.

Naučíme se také, jak postavit Spark pomocí HIVE a YARN.





KM

nainstalovat php na Windows 8

Vzhledem k tomu, že ano Hadoop, jdk, mvn a jít předinstalovaný a předkonfigurovaný ve vašem systému.



configure-Building-Yarn-and-Hive-on-Spark

Otevřeno Prohlížeč Mozilla a Stáhnout Jiskra pomocí níže uvedeného odkazu.

https://edureka.wistia.com/medias/k14eamzaza/



Otevřete terminál.

Příkaz: tar -xvf Soubory ke stažení / spark-1.1.1.tgz

Příkaz: ls

Otevřete adresář spark-1.1.1.

Můžete otevřít pom.xml soubor. Tento soubor vám poskytuje informace o všech závislosti potřebuješ.

Neupravujte to, abyste se vyhnuli problémům.

Příkaz: cd spark-1.1.1 /

Příkaz: sudo gedit sbt / sbt-launch-lib.bash

Upravte soubor podle níže uvedeného snímku, uložte jej a zavřete.

Zmenšujeme paměť, abychom se vyhnuli problémům s haldy objektů, jak je uvedeno v následujícím snímku.

Nyní spusťte níže uvedený příkaz v terminálu a vytvořte jiskru pro Hadoop 2.2.0 s HIVE a YARN.

Příkaz: ./sbt/sbt -P příze -P úl -Phadoop-2,2 -D hadoop.verze = 2.2.0 -D skipTests shromáždění

Poznámka: Moje verze Hadoop je 2.2.0, můžete ji změnit podle vaší verze Hadoop.

Pro ostatní verze Hadoop

# Apache Hadoop 2.0.5-alfa

-Dhadoop.version = 2.0.5-alfa

#Cloudera CDH 4.2.0

-Dhadoop.version = 2.0.0-cdh4.2.0

# Apache Hadoop 0.23.x

-Phadoop-0,23 -Dhadoop.verze = 0.23.7

# Apache Hadoop 2.3.X

-Phadoop-2.3 -Dhadoop.version = 2.3.0

# Apache Hadoop 2.4.X

-Phadoop-2.4 -Dhadoop.version = 2.4.0

Sestavení a zabalení bude nějakou dobu trvat, počkejte prosím, až bude kompletní.

Dvě sklenice spark-assembly-1.1.1-hadoop2.2.0.jar a spark-examples-1.1.1-hadoop2.2.0.jar se vytvoří.

Cesta z spark-assembly-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar

Cesta z spark-examples-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar

Gratulujeme, úspěšně jste postavili Spark pro Hive & Yarn.

Máte na nás dotaz? Uveďte je prosím v sekci komentáře a my se vám ozveme.

Související příspěvky:

Apache Spark s Hadoop - proč je to důležité?