Hadoop檢視檔案///hadoop 清洗檔案出現亂碼

一隻勤奮愛思考的豬發表於2018-08-22

hadoop fs -cat /hdfs/riskModelAuto/2018-07-24/mid/courtnotice_mid.csv/* | less

hadoop 清洗檔案出現亂碼:
解決思路:可以看檔案最前面有沒有:
import sys
reload(sys)
sys.setdefaultencoding(‘utf8’)

以及檔案用到的其他檔案或者字典檔案(多個檔案可能有的加了U,有的沒加U)
前面加上上述的編碼格式;

相關文章