HDFS常用操作

woailyoo0000發表於2020-12-26

一.  -ls  檢視目錄資訊

[root@bigdata01 hadoop-3.2.0]# hdfs dfs -ls hdfs://bigdata01:9000/
[root@bigdata01 hadoop-3.2.0]#
hdfs中url這一串內容在使用時預設是可以省略的,因為hdfs在執行的時候會根據HADOOP_HOME自動識別配置檔案中的fs.defaultFS屬性

所以這樣簡寫也是可以的:

[root@bigdata01 hadoop-3.2.0]# hdfs dfs -ls /
[root@bigdata01 hadoop-3.2.0]#
 

二. -put 從本地上傳檔案

[root@bigdata01 hadoop-3.2.0]# hdfs dfs -put README.txt  /
上傳成功之後沒有任何提示,注意,沒有任何提示表示成功.

 

三. -cat  檢視HDFS檔案內容

[root@bigdata01 hadoop-3.2.0]# hdfs dfs -cat /README.txt
For the latest information about Hadoop, please visit our website at:

   http://hadoop.apache.org/

and our wiki, at:

   http://wiki.apache.org/hadoop/
...........

四. -get 下載檔案到本地


[root@bigdata01 hadoop-3.2.0]# hdfs dfs -get /README.txt .
get: `README.txt': File exists
注意,這樣執行報錯了,提示檔案已存在,表示LINUX目錄中已經有這個檔案了,要麼換其他目錄,要麼給檔案重新命名.

 

五. -mkdir [-p]  建立檔案目錄

[root@bigdata01 hadoop-3.2.0]# hdfs dfs -mkdir /test
[root@bigdata01 hadoop-3.2.0]# hdfs dfs -ls /
Found 2 items
-rw-r--r--   2 root supergroup       1361 2020-04-08 15:34 /README.txt
drwxr-xr-x   - root supergroup          0 2020-04-08 15:43 /test
 

六. -rm [-r] 刪除檔案/目錄

[root@bigdata01 hadoop-3.2.0]# hdfs dfs -rm /README.txt
Deleted /README.txt