HDFS 命令：用於管理HDFS的Hadoop Shell命令大全

在使用 Hadoop 檔案系統時最常用的重要 HDFS 命令及其工作方式。

• fsck

HDFS 命令用於檢查 Hadoop 檔案系統的健康狀況。

命令： hdfs fsck /

• ls

HDFS 命令顯示 HDFS 中的檔案和目錄列表。

命令： hdfs  dfs –ls /

• mkdir

HDFS 命令在 HDFS 中建立目錄。

用法： hdfs dfs –mkdir /directory_name

命令： hdfs dfs –mkdir /new_edureka

• touchz

HDFS 命令在 HDFS 中建立檔案大小為 0 位元組的檔案。

用法： hdfs dfs –touchz /directory/filename

命令： hdfs dfs –touchz /new_edureka/sample

注意：這裡我們嘗試在 hdfs 的“new_edureka”目錄中建立一個名為“sample”的檔案，檔案大小為 0 位元組。

• du

HDFS 命令來檢查檔案大小。 

用法： hdfs dfs –du –s /directory/filename

命令： hdfs dfs –du –s /new_edureka/sample

• cat

HDFS 命令讀取 HDFS 上的檔案並將該檔案的內容列印到標準輸出。

用法：  hdfs dfs –cat /path/to/file_in_hdfs

命令： hdfs dfs –cat /new_edureka/test

• text

HDFS 命令獲取原始檔並以文字格式輸出檔案。

用法： hdfs dfs –text /directory/filename

命令： hdfs dfs –text /new_edureka/test

• copyFromLocal

HDFS 命令將檔案從本地檔案系統複製到 HDFS。

用法： hdfs dfs -copyFromLocal <localsrc> <hdfs 目的地> 

命令： hdfs dfs –copyFromLocal /home/edureka/test /new_edureka

注意： 這裡的測試是本地目錄/home/edureka中的檔案，命令執行後測試檔案將被複制到HDFS的/new_edureka目錄中。

• copyToLocal

HDFS 命令將檔案從 HDFS 複製到本地檔案系統。

用法： hdfs dfs -copyToLocal <hdfs source> <localdst>

命令：  hdfs dfs –copyToLocal /new_edureka/test /home/edureka

注意：這裡的 test 是 HDFS 的 new_edureka 目錄下的一個檔案，命令執行後，test 檔案將被複制到本地目錄 /home/edureka

• put

HDFS 命令將單個源或多個源從本地檔案系統複製到目標檔案系統。

用法：  hdfs dfs -put <localsrc> <destination>

命令： hdfs dfs –put /home/edureka/test /user

注意：  命令 copyFromLocal 類似於 put 命令，不同之處在於源僅限於本地檔案引用。

• get

HDFS 命令將檔案從 hdfs 複製到本地檔案系統。

用法： hdfs dfs -get <src> <localdst>

命令： hdfs dfs –get /user/test /home/edureka

注意：命令 copyToLocal 類似於 get 命令，不同之處在於目標僅限於本地檔案引用。

• count

HDFS 命令計算路徑下與指定檔案模式匹配的目錄、檔案和位元組數。

用法：hdfs  dfs -count <path>

命令： hdfs dfs –count /user

• R M

HDFS 命令從 HDFS 中刪除檔案。

用法： hdfs dfs –rm <路徑>     

命令：  hdfs dfs –rm /new_edureka/test

• rm -r

HDFS 命令從 HDFS 中刪除整個目錄及其所有內容。

用法：hdfs dfs -rm -r <路徑>

命令： hdfs dfs -rm -r /new_edureka

• cp

HDFS 命令將檔案從源複製到目標。此命令也允許多個源，在這種情況下，目標必須是目錄。

用法： hdfs dfs  -cp <src> <dest>

命令： hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2

命令： hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir  

• MV

HDFS 命令將檔案從源移動到目標。此命令也允許多個源，在這種情況下，目標需要是一個目錄。

用法：  hdfs dfs -mv <src> <dest>

命令：  hdfs dfs -mv /user/hadoop/file1 /user/hadoop/file2

• expunge

清空垃圾箱的 HDFS 命令。

命令： hdfs  dfs  -expunge

• rmdir

HDFS 命令刪除目錄。

用法： hdfs dfs -rmdir  <路徑>

命令： hdfs dfs –rmdir /user/hadoop

• usage

HDFS 命令返回單個命令的幫助。

用法： hdfs dfs -usage <command>

命令： hdfs dfs -usage mkdir

• help

HDFS 命令顯示給定命令或所有命令（如果未指定）的幫助。

命令： hdfs dfs -help