一、前述
資料傾斜問題是大資料中的頭號問題，所以解決資料清洗尤為重要，本文只針對幾個常見的應用場景做些分析 。
二。具體方法
1、使用Hive ETL預處理資料
方案適用場景：
如果導致資料傾斜的是Hive表。如果該Hive表中的資料本身很不均勻（比如某個key對應了100萬資料，其他key才對應了10條資料），而且業務場景需要頻繁使用Spark對Hive表執行某個分析操作，那麼比較適合使用這種技術方案。
方案實現思路：
此時可以評估一下，是否可以通過Hive來進行資料預處理（即通過Hive ETL預先對資料按照key進行聚合，或者是預先和其他表進行join），然後在Spark作業中針對的資料來源就不是原來的Hive表了，而是預處理後的Hive表。此時由於資料已經預先進行過聚合或join操作了，那麼在Spark作業中也就不需要使用原先的shuffle類運算元執行這類操作了。
方案實現原理：
這種方案從根源上解決了資料傾斜，因為徹底避免了在Spark中執行shuffle類運算元，那麼肯定就不會有資料傾斜的問題了。但是這裡也要提醒一下大家，這種方式屬於治標不治本。因為畢竟資料本身就存在分佈不均勻的問題，所以Hive ETL中進行group by或者join等shuffle操作時，還是會出現資料傾斜，導致Hive ETL的速度很慢。我們只是把資料傾斜的發生提前到了Hive ETL中，避免Spark程式發生資料傾斜而已。
2、過濾少數導致傾斜的key
方案適用場景：
如果發現導致傾斜的key就少數幾個，而且對計算本身的影響並不大的話，那麼很適合使用這種方案。比如99%的key就對應10條資料，但是隻有一個key對應了100萬資料，從而導致了資料傾斜。
方案實現思路：
如果我們判斷那少數幾個資料量特別多的key，對作業的執行和計算結果不是特別重要的話，那麼幹脆就直接過濾掉那少數幾個key。比如，在Spark SQL中可以使用where子句過濾掉這些key或者在Spark Core中對RDD執行filter運算元過濾掉這些key。如果需要每次作業執行時，動態判定哪些key的資料量最多然後再進行過濾，那麼可以使用sample運算元對RDD進行取樣，然後計算出每個key的數量，取資料量最多的key過濾掉即可。
方案實現原理：
將導致資料傾斜的key給過濾掉之後，這些key就不會參與計算了，自然不可能產生資料傾斜。
3、提高shuffle操作的並行度
方案實現思路：
在對RDD執行shuffle運算元時，給shuffle運算元傳入一個引數，比如reduceByKey(1000)，該引數就設定了這個shuffle運算元執行時shuffle read task的數量。對於Spark SQL中的shuffle類語句，比如group by、join等，需要設定一個引數，即spark.sql.shuffle.partitions，該引數代表了shuffle read task的並行度，該值預設是200，對於很多場景來說都有點過小。
方案實現原理：
增加shuffle read task的數量，可以讓原本分配給一個task的多個key分配給多個task，從而讓每個task處理比原來更少的資料。舉例來說，如果原本有5個不同的key，每個key對應10條資料，這5個key都是分配給一個task的，那麼這個task就要處理50條資料。而增加了shuffle read task以後，每個task就分配到一個key，即每個task就處理10條資料，那麼自然每個task的執行時間都會變短了。
4、雙重聚合
方案適用場景：
對RDD執行reduceByKey等聚合類shuffle運算元或者在Spark SQL中使用group by語句進行分組聚合時，比較適用這種方案。
方案實現思路：
這個方案的核心實現思路就是進行兩階段聚合。第一次是區域性聚合，先給每個key都打上一個隨機數，比如10以內的隨機數，此時原先一樣的key就變成不一樣的了，比如(hello, 1) (hello, 1) (hello, 1) (hello, 1)，就會變成(1_hello, 1) (1_hello, 1) (2_hello, 1) (2_hello, 1)。接著對打上隨機數後的資料，執行reduceByKey等聚合操作，進行區域性聚合，那麼區域性聚合結果，就會變成了(1_hello, 2) (2_hello, 2)。然後將各個key的字首給去掉，就會變成(hello,2)(hello,2)，再次進行全域性聚合操作，就可以得到最終結果了，比如(hello, 4)。
方案實現原理：
將原本相同的key通過附加隨機字首的方式，變成多個不同的key，就可以讓原本被一個task處理的資料分散到多個task上去做區域性聚合，進而解決單個task處理資料量過多的問題。接著去除掉隨機字首，再次進行全域性聚合，就可以得到最終的結果。如果一個RDD中有一個key導致資料傾斜，同時還有其他的key，那麼一般先對資料集進行抽樣，然後找出傾斜的key,再使用filter對原始的RDD進行分離為兩個RDD，一個是由傾斜的key組成的RDD1，一個是由其他的key組成的RDD2，那麼對於RDD1可以使用加隨機字首進行多分割槽多task計算，對於另一個RDD2正常聚合計算，最後將結果再合併起來。
隨機字首加幾，ReduceByKey分幾個區。
5、將reduce join轉為map join（徹底避免資料傾斜）
BroadCast+filter(或者map)
方案適用場景：
在對RDD使用join類操作，或者是在Spark SQL中使用join語句時，而且join操作中的一個RDD或表的資料量比較小（比如幾百M或者一兩G），比較適用此方案。
方案實現思路：
不使用join運算元進行連線操作，而使用Broadcast變數與map類運算元實現join操作，進而完全規避掉shuffle類的操作，徹底避免資料傾斜的發生和出現。將較小RDD中的資料直接通過collect運算元拉取到Driver端的記憶體中來，然後對其建立一個Broadcast變數；接著對另外一個RDD執行map類運算元，在運算元函式內，從Broadcast變數中獲取較小RDD的全量資料，與當前RDD的每一條資料按照連線key進行比對，如果連線key相同的話，那麼就將兩個RDD的資料用你需要的方式連線起來。
方案實現原理：
普通的join是會走shuffle過程的，而一旦shuffle，就相當於會將相同key的資料拉取到一個shuffle read task中再進行join，此時就是reduce join。但是如果一個RDD是比較小的，則可以採用廣播小RDD全量資料+map運算元來實現與join同樣的效果，也就是map join，此時就不會發生shuffle操作，也就不會發生資料傾斜。
6、取樣傾斜key並分拆join操作
方案適用場景：
兩個RDD/Hive表進行join的時候，如果資料量都比較大，無法採用“解決方案五”，那麼此時可以看一下兩個RDD/Hive表中的key分佈情況。如果出現資料傾斜，是因為其中某一個RDD/Hive表中的少數幾個key的資料量過大，而另一個RDD/Hive表中的所有key都分佈比較均勻，那麼採用這個解決方案是比較合適的。
方案實現思路：
對包含少數幾個資料量過大的key的那個RDD，通過sample運算元取樣出一份樣本來，然後統計一下每個key的數量，計算出來資料量最大的是哪幾個key。然後將這幾個key對應的資料從原來的RDD中拆分出來，形成一個單獨的RDD，並給每個key都打上n以內的隨機數作為字首，而不會導致傾斜的大部分key形成另外一個RDD。接著將需要join的另一個RDD，也過濾出來那幾個傾斜key對應的資料並形成一個單獨的RDD，將每條資料膨脹成n條資料，這n條資料都按順序附加一個0~n的字首，不會導致傾斜的大部分key也形成另外一個RDD。再將附加了隨機字首的獨立RDD與另一個膨脹n倍的獨立RDD進行join，此時就可以將原先相同的key打散成n份，分散到多個task中去進行join了。而另外兩個普通的RDD就照常join即可。最後將兩次join的結果使用union運算元合併起來即可，就是最終的join結果 。
7、使用隨機字首和擴容RDD進行join
方案適用場景：
如果在進行join操作時，RDD中有大量的key導致資料傾斜，那麼進行分拆key也沒什麼意義，此時就只能使用最後一種方案來解決問題了。
方案實現思路：
該方案的實現思路基本和“解決方案六”類似，首先檢視RDD/Hive表中的資料分佈情況，找到那個造成資料傾斜的RDD/Hive表，比如有多個key都對應了超過1萬條資料。然後將該RDD的每條資料都打上一個n以內的隨機字首。同時對另外一個正常的RDD進行擴容，將每條資料都擴容成n條資料，擴容出來的每條資料都依次打上一個0~n的字首。最後將兩個處理後的RDD進行join即可。