Příklady úlu a příze na Sparku



V tomto blogu spustíme na Sparku příklady Hive a Yarn. Nejprve vytvořte Hive and Yarn na Sparku a poté můžete spouštět příklady Hive and Yarn na Sparku.

Naučili jsme se, jak na to Postavte úl a příze na Spark . Nyní si vyzkoušejte ukázky Hive a Yarn na Sparku.





Learn-Spark-Now

Příklad úlu na Sparku

Spustíme příklad Hive on Spark. Vytvoříme tabulku, načteme do ní data a provedeme jednoduchý dotaz. Při práci s Úlem musíte postavit a HiveContext který dědí z SQLContext .



Příkaz: cd spark-1.1.1

Příkaz: ./bin/spark-shell

přepsat vs přetížení c ++



Vytvořte vstupní soubor 'vzorek' ve vašem domovském adresáři, jak je uvedeno níže (oddělené záložkou).

Příkaz: val sqlContext = nový org.apache.spark.sql.hive.HiveContext (sc)

Příkaz: sqlContext.sql („VYTVOŘIT TABULKU, POKUD NENÍ EXISTUJE test (název STRING, pořadí INT) ROW FORMAT DELIMITED FIELDS TERMINATED by‘ ‘LINES TERMINAT BY‘
„“)

Příkaz: sqlContext.sql („LOAD DATA LOCAL INPATH‘ / home / edureka / sample ‘INTO TABLE test”)

Příkaz: sqlContext.sql („VYBRAT * Z testu, KDE hodnost<5”).collect().foreach(println)

Příklad příze na Sparku

Spustíme příklad SparkPi na Yarn. Přízi na Sparku můžeme nasadit ve dvou režimech: režim clusteru a režim klienta. V režimu clusteru příze běží ovladač Spark uvnitř procesu hlavní aplikace, který je spravován Yarn v clusteru, a klient může po spuštění aplikace zmizet. V režimu příze-klient běží ovladač v klientském procesu a hlavní aplikace se používá pouze pro vyžádání prostředků z příze.

java rozdíl mezi hashmapou a hashtable

Příkaz: cd spark-1.1.1

Příkaz: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi - počet exekutorů 1 - paměť řidiče 2 g - paměť exekutora 1 g - jádra exekutora 1 příklady / cíl / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar

Po provedení výše uvedeného příkazu počkejte, dokud se nedostanete USPĚL zpráva.

Procházet localhost: 8088 / klastr a klikněte na aplikaci Spark.

Klikněte na protokoly .

Klikněte na stdout zkontrolovat výstup.

java kód pro připojení k mysql

Pro nasazení příze na Spark v klientském režimu stačí udělat –Deploy-mode tak jako „Klient“. Nyní víte, jak stavět úly a příze na Sparku. Udělali jsme na nich také praktická cvičení.

Máte na nás dotaz? Uveďte je prosím v sekci komentáře a my se vám ozveme.

Související příspěvky

Apache Spark s Hadoop - proč je to důležité?

Úl a příze jsou elektrizovány jiskrou