spark報錯

一隻勤奮愛思考的豬發表於2018-07-31
原文網址 : https://blog.csdn.net/sinat_26566137/article/details/81302570
Spark
（1）spark報錯：run() received nonzero return code 1 while executing!
self.df_judgedoc_info_sample = self.session.read.option("multiLine", True).load(
            self.judgedoc_info_sample_table_input, format="csv", schema=self.judgedoc_info_schema, delimiter=',',
            escape='"')
去掉後面的repartition(1)
出錯現象：會列印出許多漢字，報索引出界，有可能是repartition(1)之後，一個節點不夠用導致的；


（2）spark報錯2：
原表當中有些欄位是這樣的：

相關文章