大資料python包mrjob的血淚史

歐陽AI鋒發表於2020-11-23
大資料Python

大資料平臺執行mrjob，發現無法建立hdfs資料夾，卡住了，嗚嗚嗚~~~

啊啊啊啊啊啊啊啊啊

通過如下的hadoop命令檢視使用者
hdfs dfs -ls /user
裡面有自己的使用者名稱啊，可是

可是為什麼hdfs dfs -ls /user/使用者名稱/Input不行呢？

後面發現是虛擬機器環境建立的/user/使用者名稱，它不是一個真實的directory

所以

正確的做法是先刪掉虛擬的/user/使用者名稱

hdfs dfs -rmdir /user/使用者名稱

然後再自己新建一個

hdfs dfs -mkdir /user/使用者名稱

就可以了

現在執行python2 wc.py -r hadoop hdfs:///Film.txt 就成功了！

相關文章