大資料常見問題之資料傾斜

什麼是資料傾斜
    簡單的講，資料傾斜就是我們在計算資料的時候，資料的分散度不夠，導致大量的資料集中到了一臺或者幾臺機器上計算，這些資料的計算速度遠遠低於平均計算速度，導致整個計算過程過慢。
    相信大部分做資料的童鞋們都會遇到資料傾斜，資料傾斜會發生在資料開發的各個環節中，比如：

• 用Hive算資料的時候reduce階段卡在99.99%

• 用SparkStreaming做實時演算法時候，一直會有executor出現OOM的錯誤，但是其餘的executor記憶體使用率卻很低。
      資料傾斜有一個關鍵因素是資料量大，可以達到千億級。

  資料傾斜長的表現

    以Hadoop和Spark是最常見的兩個計算平臺，下面就以這兩個平臺說明：

1、Hadoop中的資料傾斜

    Hadoop中直接貼近使用者使用使用的時Mapreduce程式和Hive程式，雖說Hive最後也是用MR來執行（至少目前Hive記憶體計算並不普及），但是畢竟寫的內容邏輯區別很大，一個是程式，一個是Sql，因此這裡稍作區分。

Hadoop中的資料傾斜主要表現在ruduce階段卡在99.99%，一直99.99%不能結束。
這裡如果詳細的看日誌或者和監控介面的話會發現：

• 有一個多幾個reduce卡住
• 各種container報錯OOM
• 讀寫的資料量極大，至少遠遠超過其它正常的reduce
  伴隨著資料傾斜，會出現任務被kill等各種詭異的表現。

經驗： Hive的資料傾斜，一般都發生在Sql中Group和On上，而且和資料邏輯繫結比較深。

2、Spark中的資料傾斜

    Spark中的資料傾斜也很常見，這裡包括Spark Streaming和Spark Sql，表現主要有下面幾種：

• Executor lost，OOM，Shuffle過程出錯
• Driver OOM
• 單個Executor執行時間特別久，整體任務卡在某個階段不能結束
• 正常執行的任務突然失敗

補充一下，在Spark streaming程式中，資料傾斜更容易出現，特別是在程式中包含一些類似sql的join、group這種操作的時候。 因為Spark Streaming程式在執行的時候，我們一般不會分配特別多的記憶體，因此一旦在這個過程中出現一些資料傾斜，就十分容易造成OOM。

資料傾斜的原理

1、資料傾斜產生的原因
        我們以Spark和Hive的使用場景為例。他們在做資料運算的時候會設計到，countdistinct、group by、join等操作，這些都會觸發Shuffle動作，一旦觸發，所有相同key的值就會拉到一個或幾個節點上，就容易發生單點問題。

2、萬惡的shuffle
        Shuffle是一個能產生奇蹟的地方，不管是在Spark還是Hadoop中，它們的作用都是至關重要的。那麼在Shuffle如何產生了資料傾斜？

Hadoop和Spark在Shuffle過程中產生資料傾斜的原理基本類似。如下圖。

        大部分資料傾斜的原理就類似於下圖，很明瞭，因為資料分佈不均勻，導致大量的資料分配到了一個節點。

3、從業務計角度來理解資料傾斜

        資料往往和業務是強相關的，業務的場景直接影響到了資料的分佈。再舉一個例子，比如就說訂單場景吧，我們在某一天在北京和上海兩個城市多了強力的推廣，結果可能是這兩個城市的訂單量增長了10000%，其餘城市的資料量不變。然後我們要統計不同城市的訂單情況，這樣，一做group操作，可能直接就資料傾斜了。

如何解決

        資料傾斜的產生是有一些討論的，解決它們也是有一些討論的，本章會先給出幾個解決資料傾斜的思路，然後對Hadoop和Spark分別給出一些解決資料傾斜的方案。
一、幾個思路
    解決資料傾斜有這幾個思路：
        1.業務邏輯，我們從業務邏輯的層面上來優化資料傾斜，比如上面的例子，我們單獨對這兩個城市來做count，最後和其它城市做整合。
        2.程式層面，比如說在Hive中，經常遇到count（distinct）操作，這樣會導致最終只有一個reduce，我們可以先group 再在外面包一層count，就可以了。
        3.調參方面，Hadoop和Spark都自帶了很多的引數和機制來調節資料傾斜，合理利用它們就能解決大部分問題。

二、從業務和資料上解決資料傾斜

        很多資料傾斜都是在資料的使用上造成的。我們舉幾個場景，並分別給出它們的解決方案。
資料分佈不均勻：
前面提到的“從資料角度來理解資料傾斜”和“從業務計角度來理解資料傾斜”中的例子，其實都是資料分佈不均勻的型別，這種情況和計算平臺無關，我們能通過設計的角度嘗試解決它。

• 有損的方法：
              找到異常資料，比如ip為0的資料，過濾掉
• 無損的方法：
              對分佈不均勻的資料，單獨計算
              先對key做一層hash，先將資料打散讓它的並行度變大，再彙集
  •資料預處理

三、Hadoop平臺的優化方法

    列出來一些方法和思路，具體的引數和用法在官網看就行了。

        1.mapjoin方式
        2.count distinct的操作，先轉成group，再count
        3.hive.groupby.skewindata=true
        4.left semi jioin的使用
        5.設定map端輸出、中間結果壓縮。（不完全是解決資料傾斜的問題，但是減少了IO讀寫和網路傳輸，能提高很多效率）

四、Spark平臺的優化方法
    列出來一些方法和思路，具體的引數和用法在官網看就行了。
        1.mapjoin方式
        2.設定rdd壓縮
        3.合理設定driver的記憶體
        4.Spark Sql中的優化和Hive類似，可以參考Hive

總結

資料傾斜的坑還是很大的，如何處理資料傾斜是一個長期的過程，希望本文的一些思路能提供幫助。文中一些內容沒有細講，比如Hive Sql的優化，資料清洗中的各種坑，這些留待後面單獨的分享，會有很多的內容。另外千億級別的資料還會有更多的難點，不僅僅是資料傾斜的問題，這一點在後面也會有專門的分享。