spark報錯

一隻勤奮愛思考的豬發表於2018-07-31
1)spark報錯:run() received nonzero return code 1 while executing!
self.df_judgedoc_info_sample = self.session.read.option("multiLine", True).load(
            self.judgedoc_info_sample_table_input, format="csv", schema=self.judgedoc_info_schema, delimiter=',',
            escape='"')
去掉後面的repartition(1)
出錯現象:會列印出許多漢字,報索引出界,有可能是repartition(1)之後,一個節點不夠用導致的;


(2)spark報錯2:
原表當中有些欄位是這樣的:

相關文章