Naučili jsme se, jak na to Postavte úl a příze na Spark . Nyní si vyzkoušejte ukázky Hive a Yarn na Sparku.
Příklad úlu na Sparku
Spustíme příklad Hive on Spark. Vytvoříme tabulku, načteme do ní data a provedeme jednoduchý dotaz. Při práci s Úlem musíte postavit a HiveContext který dědí z SQLContext .
Příkaz: cd spark-1.1.1
Příkaz: ./bin/spark-shell
přepsat vs přetížení c ++
Vytvořte vstupní soubor 'vzorek' ve vašem domovském adresáři, jak je uvedeno níže (oddělené záložkou).
Příkaz: val sqlContext = nový org.apache.spark.sql.hive.HiveContext (sc)
Příkaz: sqlContext.sql („VYTVOŘIT TABULKU, POKUD NENÍ EXISTUJE test (název STRING, pořadí INT) ROW FORMAT DELIMITED FIELDS TERMINATED by‘ ‘LINES TERMINAT BY‘
„“)
Příkaz: sqlContext.sql („LOAD DATA LOCAL INPATH‘ / home / edureka / sample ‘INTO TABLE test”)
Příkaz: sqlContext.sql („VYBRAT * Z testu, KDE hodnost<5”).collect().foreach(println)
Příklad příze na Sparku
Spustíme příklad SparkPi na Yarn. Přízi na Sparku můžeme nasadit ve dvou režimech: režim clusteru a režim klienta. V režimu clusteru příze běží ovladač Spark uvnitř procesu hlavní aplikace, který je spravován Yarn v clusteru, a klient může po spuštění aplikace zmizet. V režimu příze-klient běží ovladač v klientském procesu a hlavní aplikace se používá pouze pro vyžádání prostředků z příze.
java rozdíl mezi hashmapou a hashtable
Příkaz: cd spark-1.1.1
Příkaz: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi - počet exekutorů 1 - paměť řidiče 2 g - paměť exekutora 1 g - jádra exekutora 1 příklady / cíl / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar
Po provedení výše uvedeného příkazu počkejte, dokud se nedostanete USPĚL zpráva.
Procházet localhost: 8088 / klastr a klikněte na aplikaci Spark.
Klikněte na protokoly .
Klikněte na stdout zkontrolovat výstup.
java kód pro připojení k mysql
Pro nasazení příze na Spark v klientském režimu stačí udělat –Deploy-mode tak jako „Klient“. Nyní víte, jak stavět úly a příze na Sparku. Udělali jsme na nich také praktická cvičení.
Máte na nás dotaz? Uveďte je prosím v sekci komentáře a my se vám ozveme.
Související příspěvky
Apache Spark s Hadoop - proč je to důležité?
Úl a příze jsou elektrizovány jiskrou