Instalace Apache Pig na Linuxu



Tento blog je podrobným průvodcem instalací Apache Pig v prostředí Linux. Nainstalujeme Apache Pig 0.16.0 a spustíme jej v různých režimech.

V tomto příspěvku budu mluvit o Instalace Apache Pig na Linuxu . Začněme základní definicí Apache Pig a Pig Latin.

Apache Pig je nástroj / platforma pro vytváření a provádění programu Map Reduce používaného s Hadoop. Jedná se o nástroj / platformu pro analýzu velkých souborů dat. Můžete říci, že Apache Pig je abstrakce nad MapReduce. Programátoři, kteří nejsou tak dobří v Javě, se při práci na Hadoopu trápili, hlavně při psaní úloh MapReduce.Je to tedy důležité téma, které se musíte naučit a zvládnout .Apache Pig má svůj vlastní jazyk Prasečí latina což je přínosem pro chudé programátory.





Základní úvod do Pig Latin vám pomůže lépe porozumět:

Volá se procedurální jazyk vysoké úrovně používaný v platformě Apache Pig Prasečí latina . Apache Pig obsahuje „Pig Latin“, což je relativně jednodušší jazyk, který lze provozovat přes distribuované datové sady v systému souborů Hadoop File System (HDFS). V Apache Pig musíte psát skripty Pig pomocí jazyka Pig Latin, který se při spuštění skriptu Pig převede na úlohu MapReduce.. Apache Pig má různé operátory, které se používají k provádění úkolů, jako je čtení, zápis, zpracování dat. Chcete-li se dozvědět více o operátorech Apache Pig, přejděte na náš blog “ Operátoři v Apache Pig: Část 1 - Relační operátoři “.

jak obrátit řetězce v pythonu

Nyní, když máte základní znalosti o Apache Pig, začněme instalací Apache Pig v systému Linux.



Instalace Apache Pig v systému Linux:

Níže jsou uvedeny kroky instalace Apache Pig v systému Linux (ubuntu / centos / windows pomocí Linux VM). V níže uvedeném nastavení používám Ubuntu 16.04.

Krok 1: Stažení Prase dehet soubor.

Příkaz: wget http://www-us.apache.org/dist/pig/pig-0.16.0/pig-0.16.0.tar.gz



Stáhnout Pig - Pig Installation - Edureka

Krok 2: Extrahujte dehet soubor pomocí příkazu tar. V níže uvedeném příkazu tar X znamená extrahovat archivní soubor, s znamená filtrovat archiv pomocí gzip, F znamená název souboru archivu.

Příkaz: tar -xzf pig-0.16.0.tar.gz

Příkaz: je

Krok 3: Upravit „ .bashrc ”Soubor k aktualizaci proměnných prostředí Apache Pig. Nastavujeme to tak, abychom měli přístup k prase z libovolného adresáře, nemusíme jít do prasečího adresáře, abychom mohli vykonávat příkazy prase. Také pokud nějaká jiná aplikace hledá Pig, pozná z tohoto souboru cestu Apache Pig.

Příkaz: sudo gedit .bashrc

Přidejte následující na konec souboru:

jak nastavit java classpath v linuxovém příkazovém řádku

# Nastavit PIG_HOME

export PIG_HOME = / home / edureka / pig-0.16.0
export PATH = $ PATH: /home/edureka/pig-0.16.0/bin
exportovat PIG_CLASSPATH = $ HADOOP_CONF_DIR

Ujistěte se také, že je také nastavena cesta hadoop.

Spuštěním následujícího příkazu proveďte aktualizaci změn ve stejném terminálu.

Příkaz: zdroj .bashrc

Krok 4: Zkontrolujte verzi prasete. Tím se otestuje, zda byl Apache Pig správně nainstalován. V případě, že verzi Apache Pig nezískáte, musíte ověřit, zda jste výše uvedené kroky provedli správně.

Příkaz: prasečí verze

Krok 5 :Zaškrtnutím nápovědy pig zobrazíte všechny možnosti příkazu pig.

Příkaz: prase - pomoc

Krok 6 :Spusťte prase a spusťte gruntovou skořápku. Grunt shell se používá ke spouštění skriptů Pig Latin.

Příkaz: prase

Pokud se podíváte na výše uvedený obrázek správně, Apache Pig má dva režimy, ve kterých může běžet, ve výchozím nastavení zvolí režim MapReduce. Druhým režimem, ve kterém můžete prase provozovat, je místní režim. Řeknu vám o tom víc.

Režimy provádění v Apache Pig:

  • Režim MapReduce - Toto je výchozí režim, který vyžaduje přístup ke clusteru Hadoop a instalaci HDFS. Jelikož se jedná o výchozí režim, není nutné specifikovat příznak -x (můžete spustit prase NEBO prasečí -x mapareduce ). Vstup a výstup v tomto režimu jsou k dispozici na HDFS.
  • Místní režim - S přístupem k jednomu počítači jsou všechny soubory nainstalovány a spuštěny pomocí místního hostitele a systému souborů. Zde je místní režim určen pomocí parametru „-x flag“ ( prase-x místní ). Vstup a výstup v tomto režimu jsou k dispozici v místním systému souborů.

Příkaz: prase-x místní

Níže uvedeným videem můžete sledovat instalaci Apache Pig v systému Linux:

Instalace Apache Pig | Instalace prasat v systému Linux | Edureka

Nyní, když jste dokončili instalaci Apache Pig v systému Linux, je dalším krokem vyzkoušet některé relační operátory Pig v prostředí Pig Grunt. Proto další blog „ Operátoři v Apache Pig: Část 1 - Relační operátoři „Vám pomůže zvládnout operátory prasat.

jak používat mysql workbench

Nyní, když jste nainstalovali Apache Pig na Linuxu, podívejte se na Edureka, důvěryhodná online vzdělávací společnost se sítí více než 250 000 spokojených studentů rozložených po celém světě. Kurz certifikace Edureka Big Data Hadoop Certification Training pomáhá studentům stát se odborníky na HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume a Sqoop pomocí případů použití v reálném čase v oblasti maloobchodu, sociálních médií, letectví, cestovního ruchu, financí.

Máte na nás dotaz? Uveďte to prosím v sekci komentáře a my se vám ozveme.