Spark效能優化的10大問題及其解決方案

Spark效能優化的10大問題及其解決方案

問題1：reduce task數目不合適

解決方式：

需根據實際情況調節預設配置，調整方式是修改引數spark.default.parallelism。通常，reduce數目設定為core數目的2到3倍。數量太大，造成很多小任務，增加啟動任務的開銷；數目太少，任務執行緩慢。

問題2：shuffle磁碟IO時間長

解決方式：

設定spark.local.dir為多個磁碟，並設定磁碟為IO速度快的磁碟，通過增加IO來優化shuffle效能；

問題3：map|reduce數量大，造成shuffle小檔案數目多

解決方式：

預設情況下shuffle檔案數目為map tasks * reduce tasks

通過設定spark.shuffle.consolidateFiles為true，來合併shuffle中間檔案，此時檔案數為reduce tasks數目；

問題4：序列化時間長、結果大

解決方式：

Spark預設使.用JDK.自帶的ObjectOutputStream，這種方式產生的結果大、CPU處理時間長，可以通過設定spark.serializer為org.apache.spark.serializer.KryoSerializer。

另外如果結果已經很大，可以使用廣播變數；

問題5：單條記錄消耗大

解決方式：

使用mapPartition替換map，mapPartition是對每個Partition進行計算，而map是對partition中的每條記錄進行計算；

問題6 : collect輸出大量結果時速度慢

解決方式：

collect原始碼中是把所有的結果以一個Array的方式放在記憶體中，可以直接輸出到分散式?檔案系統，然後檢視檔案系統中的內容；

問題7: 任務執行速度傾斜

解決方式：

如果是資料傾斜，一般是partition key取的不好，可以考慮其它的並行處理方式 ，並在中間加上aggregation操作；

如果是Worker傾斜，例如在某些worker上的executor執行緩慢，可以通過設定spark.speculation=true 把那些持續慢的節點去掉；

問題9: 通過多步驟的RDD操作後有很多空任務或者小任務產生

解決方式：

使用coalesce或repartition去減少RDD中partition數量；

問題10：Spark Streaming吞吐量不高

解決方式：

可以設定spark.streaming.concurrentJobs