shuffle調優

上一篇介紹了HashShuffleManager，這次介紹SortShuffleManager

SortShuffleManager執行原理

SortShuffleManager的執行機制主要分成兩種，一種是普通執行機制，另一種是bypass執行機制。當shuffle read task的數量小於等於spark.shuffle.sort.bypassMergeThreshold引數的值時（預設為200），就會啟用bypass機制。

普通執行機制

下圖說明了普通的SortShuffleManager的原理。在該模式下，資料會先寫入一個記憶體資料結構中，此時根據不同的shuffle運算元，可能選用不同的資料結構。
如果是reduceByKey這種聚合類的shuffle運算元，那麼會選用Map資料結構，一邊通過Map進行聚合，一邊寫入記憶體；如果是join這種普通的shuffle運算元，那麼會選用Array資料結構，直接寫入記憶體。
接著，每寫一條資料進入記憶體資料結構之後，就會判斷一下，是否達到了某個臨界閾值。如果達到臨界閾值的話，那麼就會嘗試將記憶體資料結構中的資料溢寫到磁碟，然後清空記憶體資料結構。

在溢寫到磁碟檔案之前，會先根據key對記憶體資料結構中已有的資料進行排序。排序過後，會分批將資料寫入磁碟檔案。預設的batch數量是10000條，也就是說，排序好的資料，會以每批1萬條資料的形式分批寫入磁碟檔案。寫入磁碟檔案是通過Java的BufferedOutputStream實現的。BufferedOutputStream是Java的緩衝輸出流，首先會將資料緩衝在記憶體中，當記憶體緩衝滿溢之後再一次寫入磁碟檔案中，這樣可以減少磁碟IO次數，提升效能。

一個task將所有資料寫入記憶體資料結構的過程中，會發生多次磁碟溢寫操作，也就會產生多個臨時檔案。最後會將之前所有的臨時磁碟檔案都進行合併，這就是merge過程，此時會將之前所有臨時磁碟檔案中的資料讀取出來，然後依次寫入最終的磁碟檔案之中。此外，由於一個task就只對應一個磁碟檔案，也就意味著該task為下游stage的task準備的資料都在這一個檔案中，因此還會單獨寫一份索引檔案，其中標識了下游各個task的資料在檔案中的start offset與end offset。

SortShuffleManager由於有一個磁碟檔案merge的過程，因此大大減少了檔案數量。比如第一個stage有50個task，總共有10個Executor，每個Executor執行5個task，而第二個stage有100個task。由於每個task最終只有一個磁碟檔案，因此此時每個Executor上只有5個磁碟檔案，所有Executor只有50個磁碟檔案。

bypass執行機制

下圖說明了bypass SortShuffleManager的原理。bypass執行機制的觸發條件如下：
- shuffle map task數量小於spark.shuffle.sort.bypassMergeThreshold引數的值。
- 不是聚合類的shuffle運算元（比如reduceByKey）。

此時task會為每個下游task都建立一個臨時磁碟檔案，並將資料按key進行hash然後根據key的hash值，將key寫入對應的磁碟檔案之中。當然，寫入磁碟檔案時也是先寫入記憶體緩衝，緩衝寫滿之後再溢寫到磁碟檔案的。最後，同樣會將所有臨時磁碟檔案都合併成一個磁碟檔案，並建立一個單獨的索引檔案。

該過程的磁碟寫機制其實跟未經優化的HashShuffleManager是一模一樣的，因為都要建立數量驚人的磁碟檔案，只是在最後會做一個磁碟檔案的合併而已。因此少量的最終磁碟檔案，也讓該機制相對未經優化的HashShuffleManager來說，shuffle read的效能會更好。

而該機制與普通SortShuffleManager執行機制的不同在於：
第一，磁碟寫機制不同；
第二，不會進行排序。
也就是說，啟用該機制的最大好處在於，shuffle write過程中，不需要進行資料的排序操作，也就節省掉了這部分的效能開銷。