Příkazy HDFS: Příkazy Hadoop Shell pro správu HDFS

Tento blog hovoří o různých příkazech HDFS, jako jsou fsck, copyFromLocal, expunge, cat atd., Které se používají ke správě systému souborů Hadoop.

Příkazy HDFS

V mém předchozí blogy Už jsem hovořil o tom, co je HDFS, jeho funkce a architektura. První krok k cestě do provádí příkazy HDFS a zkoumá, jak HDFS funguje. V tomto blogu budu hovořit o příkazech HDFS, pomocí kterých máte přístup k systému souborů Hadoop.

Dovolte mi tedy, abych vám řekl důležité příkazy HDFS a jejich fungování, které se nejčastěji používají při práci se systémem souborů Hadoop.





  • fsck

Příkaz HDFS ke kontrole stavu systému souborů Hadoop.

Příkaz: hdfs fsck /



Zdraví souborového systému HDFS - příkazy HDFS - Edureka

  • je

Příkaz HDFS pro zobrazení seznamu souborů a adresářů v HDFS.

Příkaz: hdfsdfs –Ls /



  • mkdir

Příkaz HDFS k vytvoření adresáře v HDFS.

Používání: hdfs dfs –mkdir / název_adresáře

Příkaz: hdfs dfs –mkdir / new_edureka

c ++ sort ()

Poznámka: Zde se snažíme vytvořit adresář s názvem „new_edureka“ v HDFS.

  • dotek

Příkaz HDFS k vytvoření souboru v HDFS o velikosti souboru 0 bajtů.

Používání: hdfs dfs –touchz / adresář / název souboru

Příkaz: hdfs dfs –touchz / new_edureka / sample

Poznámka: Zde se snažíme vytvořit soubor s názvem „sample“ v adresáři „new_edureka“ hdfs o velikosti souboru 0 bytů.

  • z

Příkaz HDFS ke kontrole velikosti souboru.

Používání: hdfs dfs –du –s / adresář / název souboru

Příkaz: hdfs dfs –du –s / new_edureka / sample

  • kočka

Příkaz HDFS, který načte soubor na HDFS a vytiskne obsah tohoto souboru na standardní výstup.

Používání: hdfs dfs –cat / path / to / file_in_hdfs

Příkaz: hdfs dfs –cat / new_edureka / test

  • text

Příkaz HDFS, který převezme zdrojový soubor a odešle jej v textovém formátu.

Používání: hdfs dfs –text / adresář / název souboru

Příkaz: hdfs dfs –text / new_edureka / test

  • copyFromLocal

Příkaz HDFS pro zkopírování souboru z místního systému souborů do HDFS.

Používání: hdfs dfs -copyFromLocal

Příkaz: hdfs dfs –copyFromLocal / home / edureka / test / new_edureka

Poznámka: Zde je test soubor přítomný v místním adresáři / home / edureka a po provedení příkazu bude testovací soubor zkopírován do adresáře / new_edureka HDFS.

  • copyToLocal

Příkaz HDFS pro zkopírování souboru z HDFS do místního systému souborů.

Používání: hdfs dfs -copyToLocal

Příkaz: hdfs dfs –copyToLocal / new_edureka / test / home / edureka

Poznámka: Zde je test soubor přítomný v adresáři new_edureka HDFS a po provedení příkazu bude testovací soubor zkopírován do místního adresáře / home / edureka

co je scipy v pythonu
  • dát

Příkaz HDFS ke kopírování jednoho zdroje nebo více zdrojů z místního systému souborů do cílového systému souborů.

Používání: hdfs dfs -put

Příkaz: hdfs dfs –put / home / edureka / test / uživatel

Poznámka: Příkaz copyFromLocal je podobný příkazu put, až na to, že zdroj je omezen na odkaz na místní soubor.

  • dostat

Příkaz HDFS pro kopírování souborů z hdfs do místního systému souborů.

Používání: hdfs dfs -get

Příkaz: hdfs dfs –get / user / test / home / edureka

Poznámka: Příkaz copyToLocal je podobný příkazu get, kromě toho, že cíl je omezen na odkaz na místní soubor.

  • počet

Příkaz HDFS, který spočítá počet adresářů, souborů a bajtů pod cestami, které odpovídají zadanému vzoru souboru.

Používání: hdfsdfs - počet

Příkaz: hdfs dfs - účet / uživatel

  • rm

Příkaz HDFS k odebrání souboru z HDFS.

Používání: hdfs dfs –rm

Příkaz: hdfs dfs –rm / new_edureka / test

  • rm -r

Příkaz HDFS k odebrání celého adresáře a veškerého jeho obsahu z HDFS.

Používání: hdfs dfs -rm -r

Příkaz: hdfs dfs -rm -r / new_edureka

  • str

Příkaz HDFS ke kopírování souborů ze zdroje do cíle. Tento příkaz umožňuje také více zdrojů, v takovém případě musí být cílem adresář.

Používání: hdfs dfs -cp

Příkaz: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2

Příkaz: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2 / user / hadoop / dir

  • mv

Příkaz HDFS pro přesun souborů ze zdroje do cíle. Tento příkaz umožňuje také více zdrojů, v takovém případě musí být cílem adresář.

Používání: hdfs dfs -mv

Příkaz: hdfs dfs -mv / user / hadoop / file1 / user / hadoop / file2

  • vybuchnout

Příkaz HDFS, díky kterému je koš prázdný.

Příkaz: hdfsdfs-expunge

  • rmdir

Příkaz HDFS k odebrání adresáře.

Používání: hdfs dfs -rmdir

Příkaz: hdfs dfs –rmdir / user / hadoop

abstrakce v C ++

  • používání

Příkaz HDFS, který vrací nápovědu pro jednotlivý příkaz.

Používání: hdfs dfs -usage

Příkaz: hdfs dfs -usage mkdir

Poznámka: Pomocí příkazu usage můžete získat informace o jakémkoli příkazu.

  • Pomoc

Příkaz HDFS, který zobrazuje nápovědu pro daný příkaz nebo všechny příkazy, pokud není zadán žádný.

Příkaz: hdfs dfs - pomoc

Tímto končí blog HDFS Commands, doufám, že byl poučný a vy jste mohli provádět všechny příkazy. Další příkazy HDFS můžete odkázat na Apache Hadoopdokumentace tady.

Nyní, když jste provedli výše uvedené příkazy HDFS, podívejte se na Edureka, důvěryhodná online vzdělávací společnost se sítí více než 250 000 spokojených studentů rozložených po celém světě. Edureka Big Data Hadoop Certification Training training pomáhá studentům stát se odborníky na HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume a Sqoop využití případů použití v reálném čase v oblasti maloobchodu, sociálních médií, letectví, cestovního ruchu a financí.

Máte na nás dotaz? Uveďte to prosím v sekci komentáře a my se vám ozveme.