資料分析中將兩個資料集進行 Join 操作是很常見的場景。在 Spark 的物理計劃階段，Spark 的 Join Selection 類會根
據 Join hints 策略、Join 表的大小、 Join 是等值 Join 還是不等值以及參與 Join 的 key 是否可以排序等條件來選擇最
終的 Join 策略，最後 Spark 會利用選擇好的 Join 策略執行最終的計算。當前 Spark 一共支援五種 Join 策略：
-
Broadcast hash join (BHJ) -
Shuffle hash join（SHJ） -
Shuffle sort merge join (SMJ) -
Shuffle-and-replicate nested loop join，又稱笛卡爾積（Cartesian product join) -
Broadcast nested loop join (BNLJ)
其中 BHJ 和 SMJ 這兩種 Join 策略是我們執行 Spark 作業最常見的。JoinSelection 會先根據 Join 的 Key 為等值 Join
來選擇 Broadcast hash join、Shuffle hash join 以及 Shuffle sort merge join 中的一個；如果 Join 的 Key 為不等值
Join 或者沒有指定 Join 條件，則會選擇 Broadcast nested loop join 或 Shuffle-and-replicate nested loop join。
不同的 Join 策略在執行上效率差別很大，瞭解每種 Join 策略的執行過程和適用條件是很有必要的。
1、Broadcast Hash Join
Broadcast Hash Join 的實現是將小表的資料廣播到 Spark 所有的 Executor 端，這個廣播過程和我們自己去廣播數
據沒什麼區別：
利用 collect 運算元將小表的資料從 Executor 端拉到 Driver 端
在 Driver 端呼叫 sparkContext.broadcast 廣播到所有 Executor 端
在 Executor 端使用廣播的資料與大表進行 Join 操作（實際上是執行map操作）
這種 Join 策略避免了 Shuffle 操作。一般而言，Broadcast Hash Join 會比其他 Join 策略執行的要快。
使用這種 Join 策略必須滿足以下條件：
小表的資料必須很小，可以通過 spark.sql.autoBroadcastJoinThreshold 引數來配置，預設是 10MB
如果記憶體比較大，可以將閾值適當加大
將 spark.sql.autoBroadcastJoinThreshold 引數設定為 -1，可以關閉這種連線方式
只能用於等值 Join，不要求參與 Join 的 keys 可排序
2、Shuffle Hash Join
當表中的資料比較大，又不適合使用廣播，這個時候就可以考慮使用 Shuffle Hash Join。
Shuffle Hash Join 同樣是在大表和小表進行 Join 的時候選擇的一種策略。它的計算思想是：把大表和小表按照相同
的分割槽演算法和分割槽數進行分割槽（根據參與 Join 的 keys 進行分割槽），這樣就保證了 hash 值一樣的資料都分發到同一
個分割槽中，然後在同一個 Executor 中兩張表 hash 值一樣的分割槽就可以在本地進行 hash Join 了。在進行 Join 之
前，還會對小表的分割槽構建 Hash Map。Shuffle hash join 利用了分治思想，把大問題拆解成小問題去解決。
要啟用 Shuffle Hash Join 必須滿足以下條件：
僅支援等值 Join，不要求參與 Join 的 Keys 可排序
spark.sql.join.preferSortMergeJoin 引數必須設定為 false，引數是從 Spark 2.0.0 版本引入的，預設值為
true，也就是預設情況下選擇 Sort Merge Join
小表的大小（plan.stats.sizeInBytes）必須小於 spark.sql.autoBroadcastJoinThreshold *
spark.sql.shuffle.partitions（預設值200）
而且小表大小（stats.sizeInBytes）的三倍必須小於等於大表的大小（stats.sizeInBytes），也就是
a.stats.sizeInBytes * 3 < = b.stats.sizeInBytes
3、Shuffle Sort Merge Join
前面兩種 Join 策略對錶的大小都有條件的，如果參與 Join 的表都很大，這時候就得考慮用 Shuffle Sort Merge Join
了。
Shuffle Sort Merge Join 的實現思想：
將兩張表按照 join key 進行shuffle，保證join key值相同的記錄會被分在相應的分割槽
對每個分割槽內的資料進行排序
排序後再對相應的分割槽內的記錄進行連線
無論分割槽有多大，Sort Merge Join都不用把一側的資料全部載入到記憶體中，而是即用即丟；因為兩個序列都有序。從
頭遍歷，碰到key相同的就輸出，如果不同，左邊小就繼續取左邊，反之取右邊。從而大大提高了大資料量下sql join
的穩定性。
要啟用 Shuffle Sort Merge Join 必須滿足以下條件：
僅支援等值 Join，並且要求參與 Join 的 Keys 可排序
4、Cartesian product join
如果 Spark 中兩張參與 Join 的表沒指定連線條件，那麼會產生 Cartesian product join，這個 Join 得到的結果其實
就是兩張錶行數的乘積。
5、Broadcast nested loop join
可以把 Broadcast nested loop join 的執行看做下面的計算：
for record_1 in relation_1:
for record_2 in relation_2:
join condition is executed
可以看出 Broadcast nested loop join 在某些情況會對某張表重複掃描多次，效率非常低下。從名字可以看出，這種
join 會根據相關條件對小表進行廣播，以減少表的掃描次數。
Broadcast nested loop join 支援等值和不等值 Join，支援所有的 Join 型別。
吳邪，小三爺，混跡於後臺，大資料，人工智慧領域的小菜鳥。
更多請關注
