hadoop hdfs 常用命令

命令列表

• 檢視目錄檔案資訊：hdfs dfs -ls <路徑>

• 建立資料夾：hdfs dfs -mkdir <路徑>

• 刪除檔案/空白資料夾：hdfs dfs -rm [-skiptrash] <路徑>

• 遞迴刪除檔案/空白資料夾：hdfs dfs -rmr [-skiptrash] <路徑>

• 檢視指定路徑的當前目錄結構：hdfs dfs -ls <路徑>

• 遞迴檢視指定路徑的目錄結構：hdfs dfs -ls -R <路徑>

• 統計目錄下個檔案大小：hdfs dfs -du <路徑>

• 彙總統計目錄下檔案 (夾)大小：hdfs dfs -du -s <路徑>

• 統計檔案 (夾)數量：hdfs dfs -count [-q] <路徑>

• 移動檔案：hdfs dfs -mv <源路徑> <目的路徑>

• 將指定路徑檔案複製到目標路徑：hdfs dfs -cp <源路徑> <目的路徑>

• 刪除檔案/空白資料夾：hdfs dfs -rm [-skiptrash] <路徑>

• 遞迴刪除檔案/空白資料夾：hdfs dfs -rmr [-skiptrash] <路徑>

• 檢視檔案內容：hdfs dfs -cat <路徑>

• 檢視檔案的最後一部分：hdfs dfs -tail <路徑>

• 上傳本地檔案到HDFS：hdfs dfs -put <本地路徑> <HDFS路徑>

• 從HDFS下載檔案到本地：hdfs dfs -get <HDFS路徑> <本地路徑>

• 改變檔案的副本數：hdfs dfs -setrep -w <副本數> <路徑>

• 檢視檔案塊資訊：hdfs fsck <路徑> -files -blocks

• 檢視幫助：hadoop fs -help