好程式設計師大資料教程分享HDFS常用shell和web介面介紹

最後一個 :塊刪除的開始時間

HDFS的Shell命令:

ps:無論看到是hdfs dfs 形式還是 hadoop fs 這種形式   都可以   完成對 HDFS的操作

1.向HDSF上傳檔案

put: 從本地檔案系統賦值單個或多個原路徑目標檔案到HDFS檔案系統中

hdfs dfs -put 本地檔案路徑 HDFS檔案系統路徑

2.將HDFS檔案系統中的檔案下載回來

get:從HDFS檔案系統中將檔案複製到本地檔案系統中

hdfs dfs -get HDFS 檔案系統路徑   本地檔案系統路徑

ps:HDFS有一個和put和get類似的而方法 copyFromlocal 相當於put 和 copyTolocal 相當於 get 3.檢視HDFS檔案系統中的檔案內容

cat:檢視HDFS檔案系統中的檔案內容

hdfs dfs -cat HDFS檔案系統中檔案的路徑

ps:不要檢視非檔案

在檢視檔案的同時追加檔案到本地路徑

4.HDFS檔案系統中進行復制操作

cp:將HDFS檔案系統中的檔案進行復制,複製到HDFS系統中

hdfs dfs -cp 源HDFS 檔案系統中的檔案路徑   目標 HDFS檔案系統中的路徑

5.HDFS檔案系統中的檔案進行移動操作

mv:將原始檔移動目標路徑,這個命令可允許有多個源路徑,此時目標路徑必須是一個資料夾(目錄)

不允許不同的檔案系統互相移動檔案

hdfs dfs -mv 源HDFS 檔案系統中的檔案路徑   目標 HDFS檔案系統中的路徑

相當於剪下

6.檢視HDFS檔案系統中檔案的大小

hdfs dfs -du HDFS檔案系統中路徑中的一個檔案

7.在HDSF系統中建立資料夾

mkdir 建立資料夾

hdfs dfs -mkdir HDFS檔案系統中的路徑

建立多個資料夾   新增  -p 就是多個資料夾

8.檢視HDFS檔案系統下的所有檔案

hdfs dfs -ls HDFS檔案系統路徑

9.刪除HDFS檔案系統中的目錄或檔案

ps: 只能是單個檔案   或   空目錄

hdfs dfs -rm HDFS檔案系統路徑

若引數資料夾中有多個檔案   加  -r

hdfs dfs -rm -r HDFS檔案系統路徑

10.更改檔案的許可權

r可讀 w可寫 x可執行

- | ---| --- 1代表有權 0 代表沒有許可權   所有每三位可以作為一個八進位制處理例如  rwx | rwx | rwx

111 | 111 | 111

=========================

7 7 7

hdfs dfs -chmod 許可權值 HDFS檔案系統路徑若需要更改目錄下許可權都需要修改

hdfs dfs -chmod -R 許可權值 HDFS檔案系統路徑下的資料夾ps:並且資料夾下的所有子檔案和資料夾都會被修改

11.回收站

Hadoop回收站trash,預設是關閉的,建議開啟