spark sql語句效能最佳化及執行計劃

chy_cug發表於2024-10-19

一、最佳化點:
1、not in 替換為 not exist;
2、in 替換為 right join;
3、distinct 替換為 group by;
4、count(distinct) 替換為 count;
5、where條件中,等號左右兩邊的資料型別需要一致;
6、where條件中,等號左邊不要有函式;
7、where條件上移;
8、最佳化點需要對照執行計劃,並且有實際效果。

二、對應的執行計劃:

1、not in 替換為 not exist:

2、exists替換為in:

3、distinct替換為group by:

4、count(distinct)替換為group by:

5、where條件上移:

6、資料型別需要一致:

相關文章