好程式設計師大資料教程分享HDFS常用shell和web介面介紹

最後一個 :塊刪除的開始時間

HDFS的Shell命令:

ps:無論看到是hdfs dfs 形式還是 hadoop fs 這種形式   都可以   完成對 HDFS的操作

 

1.向HDSF上傳檔案

 

put: 從本地檔案系統賦值單個或多個原路徑目標檔案到HDFS檔案系統中

 

hdfs dfs -put 本地檔案路徑 HDFS檔案系統路徑

 

2.將HDFS檔案系統中的檔案下載回來

 

get:從HDFS檔案系統中將檔案複製到本地檔案系統中

 

hdfs dfs -get HDFS 檔案系統路徑   本地檔案系統路徑

 

ps:HDFS有一個和put和get類似的而方法 copyFromlocal 相當於put 和 copyTolocal 相當於 get 3.檢視HDFS檔案系統中的檔案內容

 

cat:檢視HDFS檔案系統中的檔案內容

 

hdfs dfs -cat HDFS檔案系統中檔案的路徑

 

ps:不要檢視非檔案

 

在檢視檔案的同時追加檔案到本地路徑

 

4.HDFS檔案系統中進行復制操作

 

cp:將HDFS檔案系統中的檔案進行復制,複製到HDFS系統中

 

hdfs dfs -cp 源HDFS 檔案系統中的檔案路徑   目標 HDFS檔案系統中的路徑

5.HDFS檔案系統中的檔案進行移動操作

 

mv:將原始檔移動目標路徑,這個命令可允許有多個源路徑,此時目標路徑必須是一個資料夾(目錄)

 

不允許不同的檔案系統互相移動檔案

 

hdfs dfs -mv 源HDFS 檔案系統中的檔案路徑   目標 HDFS檔案系統中的路徑

 

相當於剪下

 

6.檢視HDFS檔案系統中檔案的大小

 

hdfs dfs -du HDFS檔案系統中路徑中的一個檔案

 

7.在HDSF系統中建立資料夾

 

mkdir 建立資料夾

 

hdfs dfs -mkdir HDFS檔案系統中的路徑

 

建立多個資料夾   新增  -p 就是多個資料夾

 

8.檢視HDFS檔案系統下的所有檔案

 

hdfs dfs -ls HDFS檔案系統路徑

 

9.刪除HDFS檔案系統中的目錄或檔案

 

ps: 只能是單個檔案   或   空目錄

 

hdfs dfs -rm HDFS檔案系統路徑

 

若引數資料夾中有多個檔案   加  -r

 

hdfs dfs -rm -r HDFS檔案系統路徑

 

10.更改檔案的許可權

 

r可讀 w可寫 x可執行

 

- | ---| --- 1代表有權 0 代表沒有許可權   所有每三位可以作為一個八進位制處理例如  rwx | rwx | rwx

 

111 | 111 | 111

 

=========================

 

7 7 7

 

hdfs dfs -chmod 許可權值 HDFS檔案系統路徑若需要更改目錄下許可權都需要修改

 

hdfs dfs -chmod -R 許可權值 HDFS檔案系統路徑下的資料夾ps:並且資料夾下的所有子檔案和資料夾都會被修改

 

11.回收站

 

Hadoop回收站trash,預設是關閉的,建議開啟