spark job執行引數優化

zhanlijun發表於2014-11-28
Spark優化

http://www.cnblogs.com/LBSer/p/4129481.html

一、問題

      使用spark join兩張表（5000w*500w）總是出錯，報的異常顯示是在shuffle階段。

14/11/27 12:05:49 ERROR storage.DiskBlockObjectWriter: Uncaught exception while reverting partial writes to file /hadoop/application_1415632483774_448143/spark-local-20141127115224-9ca8/04/shuffle_1_1562_27
java.io.FileNotFoundException: /hadoop/application_1415632483774_448143/spark-local-20141127115224-9ca8/04/shuffle_1_1562_27 (No such file or directory)
        at java.io.FileOutputStream.open(Native Method)
        at java.io.FileOutputStream.<init>(FileOutputStream.java:212)
        at org.apache.spark.storage.DiskBlockObjectWriter.revertPartialWritesAndClose(BlockObjectWriter.scala:178)
        at org.apache.spark.shuffle.hash.HashShuffleWriter$$anonfun$revertWrites$1.apply(HashShuffleWriter.scala:118)
        at org.apache.spark.shuffle.hash.HashShuffleWriter$$anonfun$revertWrites$1.apply(HashShuffleWriter.scala:117)
        at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
        at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:108)
        at org.apache.spark.shuffle.hash.HashShuffleWriter.revertWrites(HashShuffleWriter.scala:117)
        at org.apache.spark.shuffle.hash.HashShuffleWriter.stop(HashShuffleWriter.scala:89)
        at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:73)
        at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:41)
        at org.apache.spark.scheduler.Task.run(Task.scala:54)
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:177)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
        at java.lang.Thread.run(Thread.java:724)

     

    出問題的程式碼塊（scala）

1 val cRdd = iRdd.leftOuterJoin(label).map {
2      case (id, (iMap, Some(set))) => (id, (iMap, set))
3      case (id, (iMap, None)) => (id, (iMap, new HashSet[Int]()))
4    }.persist(StorageLevel.MEMORY_AND_DISK)

 

二、問題分析與解決

     一般spark job很多問題都是來源於系統資源不夠用，通過監控日誌等判斷是記憶體資源佔用過高導致的問題，因此嘗試通過配置引數的方法來解決。

1）--conf spark.akka.frameSize=100

     此引數控制Spark中通訊訊息的最大容量 （如task的輸出結果），預設為10M。當處理大資料時，task的輸出可能會大於這個值，需要根據實際資料設定一個更高的值。嘗試將此引數設定成100M後，問題未能解決。

2）--conf spark.shuffle.manager=SORT

     Spark預設的shuffle採用Hash模式，在HASH模式下，每一次shuffle會生成M*R的數量的檔案（M指的是Map的數目，R指的是Reduce的數目），而當Map和Reduce的數目開得較大時，會產生相當規模的檔案，與此同時帶來了大量的記憶體開銷。

     為了降低系統資源，可以採用Sort模式，Sort模式只產生M數量的檔案。具體可以參考：Sort-based Shuffle之初體驗

     在我們的應用場景下，採用Sort模式後，shuffle時間比之前增大了1/3，但是問題依舊未解決。

3）--conf spark.yarn.executor.memoryOverhead=4096

     executor堆外記憶體設定。起初是1024M，未能跑過，後改為4096M，Job就能跑通，原因是程式使用了大量的堆外記憶體。

 

相關文章