Apache Hive je jedním z nejdůležitějších rámců v ekosystému Hadoop, což je zase velmi důležité . V tomto blogu se dozvíme o instalaci Apache Hive a Hive na Ubuntu.
Co je Apache Hive?
Apache Hive je infrastruktura datového skladu, která usnadňuje dotazování a správu velkých datových sad, které jsou umístěny v distribuovaném úložném systému. Je postaven na vrcholu Hadoop a vyvinut Facebookem. Úl poskytuje způsob dotazování dat pomocí dotazovacího jazyka podobného SQL, který se nazývá HiveQL (Hive query Language).
Interně překládá překladač HiveQL prohlášení do MapReduce pracovní místa, která se poté odešlou Hadoop framework k provedení.
Rozdíl mezi Hive a SQL:
Úl vypadá velmi podobně jako tradiční databáze s SQL přístup. Nicméně proto Úl je založeno na Hadoop a MapReduce operací, existuje několik klíčových rozdílů:
Protože Hadoop je určen pro dlouhé sekvenční skenování a Úl je založeno na Hadoop , můžete očekávat, že dotazy budou mít velmi vysokou latenci. Znamená to, že Úl by nebylo vhodné pro ty aplikace, které vyžadují velmi rychlé doby odezvy, jak můžete očekávat u tradiční databáze RDBMS.
Konečně, Úl je založen na čtení, a proto není vhodný pro zpracování transakcí, které obvykle zahrnuje vysoké procento operací zápisu.
základy serveru SQL pro začátečníky
Instalace úlu na Ubuntu:
Při instalaci postupujte podle následujících kroků Apache Hive na Ubuntu:
Krok 1: Stažení Úl tar.
Příkaz: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
Krok 2: Extrahujte dehet soubor.
Příkaz: tar -xzf apache-podregistr-2.1.0-bin.tar.gz
Příkaz: je
Krok 3: Upravte „.Bashrc“ soubor pro aktualizaci proměnných prostředí pro uživatele.
Příkaz: sudo gedit .bashrc
Přidejte následující na konec souboru:
# Nastavit HIVE_HOME
export HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
export PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin
Ujistěte se také, že je také nastavena cesta hadoop.
Spuštěním níže uvedeného příkazu provedete změny ve stejném terminálu.
Příkaz: zdroj .bashrc
Krok 4: Zkontrolujte verzi úlu.
java sort arraylist celých čísel
Krok 5: Vytvořit Úl adresáře uvnitř HDFS . Adresář 'sklad' je umístění pro uložení tabulky nebo dat souvisejících s úlem.
Příkaz:
- hdfs dfs -mkdir -p / uživatel / úl / sklad
- hdfs dfs -mkdir / tmp
Krok 6: Nastavte oprávnění pro čtení a zápis pro tabulku.
Příkaz:
V tomto příkazu dáváme skupině oprávnění k zápisu:
- hdfs dfs -chmod g + w / uživatel / úl / sklad
- hdfs dfs -chmod g + w / tmp
Krok 7: Soubor Hadoop cesta dovnitř h ive-env.sh
Příkaz: cd apache-úl-2.1.0-bin /
Příkaz: gedit conf / hive-env.sh
Nastavte parametry, jak je znázorněno na následujícím snímku.
Krok 8: Upravit hive-site.xml
Příkaz: gedit conf / hive-site.xml
javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = true připojovací řetězec JDBC pro metastore JDBC. Chcete-li k šifrování / ověření připojení použít SSL, zadejte v adrese URL připojení příznak SSL specifický pro databázi. Například jdbc: postgresql: // myhost / db? Ssl = true pro databázi postgres. hive.metastore.warehouse.dir / user / hive / warehouse umístění výchozí databáze pro sklad hive.metastore.uris Thrift URI pro vzdálený metastore. Používá klient metastore k připojení ke vzdálenému metastore. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Název třídy ovladače pro metastore JDBC javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory implementující vytrvalost jdo
Krok 9: Ve výchozím nastavení používá Hive Derby databáze. Inicializovat databázi Derby.
Příkaz: bin / schematool -initSchema -dbType derby
Krok 10 :Zahájení Úl.
Příkaz: úl
Krok 11 :Spusťte několik dotazů v prostředí Hive.
Příkaz: zobrazit databáze
Příkaz: vytvořit zaměstnance tabulky (řetězec ID, řetězec názvu, řetězec řetězce) formát řádků oddělená pole ukončená znakem „“ uložená jako textový soubor
Příkaz: zobrazit tabulky
jak nainstalovat hadoop v linuxu
Krok 12: Ukončit z Úl:
Příkaz: výstup
Nyní, když je instalace Hive hotová, je dalším krokem vyzkoušet příkazy Hive na shellu Hive. Proto náš další blog „ Nejlepší příkazy podregistru s příklady v HQL „Vám pomůže zvládnout příkazy Úlu.
Související příspěvky: