大資料python包mrjob的血淚史

歐陽AI鋒發表於2020-11-23

大資料平臺執行mrjob,發現無法建立hdfs資料夾,卡住了,嗚嗚嗚~~~

啊啊啊啊啊啊啊啊啊

通過如下的hadoop命令檢視使用者
hdfs dfs -ls /user
裡面有自己的使用者名稱啊,可是

可是為什麼hdfs dfs -ls /user/使用者名稱/Input不行呢?

後面發現是虛擬機器環境建立的/user/使用者名稱,它不是一個真實的directory

所以

正確的做法是先刪掉虛擬的/user/使用者名稱

hdfs dfs -rmdir /user/使用者名稱

然後再自己新建一個

hdfs dfs -mkdir /user/使用者名稱

就可以了

現在執行python2 wc.py -r hadoop hdfs:///Film.txt 就成功了!

相關文章