### 系列文章導讀
	
OceanBase 是100% 自主研發，**連續9年穩定支撐雙11**，創新推出“三地五中心”城市級容災新標準，是**全球唯一**在 TPC-C 和 TPC-H 測試上都重新整理了世界紀錄的國產原生分散式資料庫，於 2021 年 6 月份正式開放原始碼。查詢最佳化器是關聯式資料庫系統的核心模組，是資料庫核心開發的重點和難點，也是衡量整個資料庫系統成熟度的“試金石”。為了幫助大家更好地理解 OceanBase 查詢最佳化器，我們將撰寫查詢改寫系列文章，帶大家更好地掌握查詢改寫的精髓，熟悉複雜 SQL 的等價性，寫出高效的 SQL。本文是 OceanBase 改寫系列第六篇，將重點介紹謂詞推導，歡迎探討～

### 專欄作者介紹

OceanBase 最佳化器團隊，由 OceanBase 高階技術專家溪峰、技術專家山文等領銜，致力於打造全球領先的分散式查詢最佳化器。

### 系列內容構成

本次查詢改寫系列不僅包括子查詢最佳化、聚合函式最佳化、 視窗函式最佳化、 複雜表示式最佳化四大模組，本文將會針對謂詞的推導方式進行詳細闡述，還有更多模組內容，敬請期待。

***歡迎關注 OceanBase 開源使用者群 （釘釘號：33254054），進群與 OceanBase 查詢最佳化器團隊一同交流。***

## 一、為什麼需要謂詞推導

業務在訪問資料庫時通常只會讀取部分資料，因此會指定一些謂詞來過濾掉不需要的資料。實現一個查詢語義時，我們可以採用多種不同的謂片語合。

例如：Q1 和 Q2 都是從資料庫中讀取編號為 1024 排片的餘票資訊。這兩條查詢使用了不同的謂詞集合，實現了相同的查詢效果。從查詢的效能而言，Q2 的過濾謂詞寫的更好。Q2 中的 T.play_id = 1024 是一個基表過濾謂詞。它可以提前過濾掉一批資料，減少參與連線的資料量。進一步的，當 TICKETS 表上存在 (play_id, sale_date, seat) 的索引時，查詢最佳化器一方面可以確定出一個非常好的資料掃描範圍；另一方面還可以利用索引序消除 ORDER BY 產生的排序操作。最終，整個查詢最多隻需要讀取 T 表的 10 行資料。

```
Q1:
SELECT P.show_time, T.ticket_id, T.seat
FROM PLAY P, TICKETS T
WHERE P.play_id = T.play_id AND P.play_id = 1024 AND T.sale_date is NULL
ORDER BY T.seat LIMIT 10;

Q2:
SELECT P.show_time, T.ticket_id, T.seat
FROM PLAY P, TICKETS T
WHERE T.play_id = 1024 and P.play_id = 1024 AND T.sale_date is NULL
ORDER BY T.seat LIMIT 10;
```

為了保證良好的查詢效能，資料庫核心需要有能力為 Q1 來查詢推匯出 T.play_id = 1024 這樣的謂詞。這種能力我們稱之為“謂詞推導”。在 OceanBase 中，我們針對不同的謂詞使用場景，設計和實現了多種謂詞推導的策略。下文將主要介紹這些推導策略。

## 二、謂詞推導

謂詞推導是根據多個謂詞，推導得到一些新的謂詞。例如，Q1 中存在 P.play_id = T.play_id 和 P.play_id = 1024 兩個謂詞，可以推導得到一個新的謂詞 T.play_id = 1024。這是一個 T 表上的單表過濾謂詞，它可以提前過濾掉 T 表上的資料，減少參與多表連線的資料量。推匯出新謂詞在很多最佳化場景都是有意義的。

### 大小比較推導

**給定多個大小比較的謂詞，我們可以排列出多個表示式之間的大小關係。**例如，下面這個查詢中，存在 T1.C1 > T2.C1 和 T1.C1 < 10 兩個謂詞，那麼我們可以排列出它們之間的大小關係為：T2.C1 <t1.c1 t2.c1="" t2="" select="" from="" t1="" where="" t1.c1=""> T2.C1 AND T1.C1 < 10;

SELECT * FROM T1, T2 WHERE T1.C1 > T2.C1 AND T1.C1 < 10 AND T2.C1 > 10;
````

對 Q1 查詢來說，我們也是可以根據謂詞給定的大小關係（T.play_id = P.play_id = 1024），推匯出一個新的謂詞 T.play_id = 1024。進一步的，推匯出新的謂詞後，我們還可以消除一個冗餘的連線謂詞 P.play_id = T.play_id，最終得到查詢 Q2。

### 複雜謂詞推導

除了大小比較、等值比較的謂詞外，查詢中也經常會用到一些更加複雜的謂詞。例如，使用 LIKE對字串進行字首匹配等。給定一個複雜謂詞和一些等值比較關係，我們也可以推匯出一些新的謂詞出來。例如，下面的查詢中存在 T1.C1 = T2.C1和 T1.C1 LIKE 'ABC%'兩個謂詞。由於T1.C1和 T2.C1存在等值關係，因此，T2.C1 LIKE 'ABC%'也必然成立。這個謂詞同樣可以提前過濾 T2 表的資料，減少參與連線的資料量。

````
SELECT *
FROM T1, T2 WHERE T1.C1 = T2.C1 AND T1.C1 LIKE 'ABC%';

SELECT *
FROM T1, T2 WHERE T1.C1 = T2.C1 AND T1.C1 LIKE 'ABC%' AND T2.C1 LIKE 'ABC%';
````

給定兩個列之間的等值關係，以及其中一個列上的任意謂詞，我們幾乎可以推導產生另外一個列上的謂詞。**但這並不意味著，我們總要推匯出新謂詞。**一些複雜謂詞本身的計算代價可能就比較高昂，並且謂詞本身的過濾性並不好，推導產生新的複雜謂詞反而**會導致查詢效能下降**。實際在決策時，**應該首先判斷推導得到的新謂詞是否可以過濾掉掉大量的資料**。

### OR 謂詞推導

OR 謂詞在業務查詢中也很常見。下面這個查詢中，存在一個很有趣的 OR 謂詞。首先，這個謂詞引用到了多個表的資料，因此，這個謂詞只能過濾多表連線之後的結果。有趣之處在於：這個 OR 的每個分支中，都包含了 T1 表上的謂詞。我們可以構造出 T1 表上的過濾謂詞：T1.C2 = 1 OR T1.C2 =2 。這是一個單表過濾謂詞，可以提前過濾 T1 的資料，減少參與連線的行數。

````
SELECT * FROM T1, T2 
WHERE T1.C1 = T2.C1 AND 
     ((T1.C2 = 1) OR (T1.C2 = 2 AND T2.C2 = 2))
     
SELECT * FROM T1 ,T2
WHERE T1.C1 = T2.C1 AND 
      (T1.C2 = 1 OR T1.C2 = 2) AND
      ((T1.C2 = 1) OR (T1.C2 = 2 AND T2.C2 = 2));
````

### MIN/MAX 謂詞推導

以上兩種場景的推導相對而言是比較直觀的。下面我們介紹一種更“隱晦”的謂詞推導方式。

在下面這個查詢中，存在一個 MAX(C2) > 10的 HAVING謂詞。根據這個謂詞，我們可以推導產生一個 C2 > 10 的過濾謂詞。這裡的合理性在於：原始查詢最終僅保留 MAX(C2) > 10 的分組聚合結果，如果給定一行不滿足 C2 > 10，存在以下兩種情況：

1、這一行不是同一分組內 C2的最大值（對分組聚合沒有意義，可以過濾）

2、這一行是同一分組內 C2的最大值（會被 HAVING 謂詞過濾）

在以上兩種情況下，不滿足 C2 > 10 的資料都是可以提前過濾的。因此，我們可以推匯出一個新的謂詞 C2 > 10。

````
SELECT C1, MAX(C2)
FROM T1
GROUP BY C1 HAVING MAX(C2) > 10;

=>

SELECT C1, MAX(C2)
FROM T1
WHERE C2 > 10
GROUP BY C1 HAVING MAX(C2) > 10;

````

類似的，給定如下帶 MIN 聚合函式的查詢，我們也可以推導產生一個新的謂詞。這些謂詞可以提前過濾掉部分資料，減少分組聚合操作的計算量，提升查詢效能。

````
SELECT C1, MIN(C2)
FROM T1
GROUP BY C1 HAVING MIN(C2) < 10;

=>

SELECT C1, MIN(C2)
FROM T1
WHERE C2 < 10
GROUP BY C1 HAVING MIN(C2) < 10;
````

這種推導方式對查詢的形態是有較多性質的。讀者可以考慮一下，**如果查詢中存在其他的聚合函式，是否還可以做如上的謂詞推導？**

### 推導陷阱

推導新謂詞也存在一些容易犯錯的陷阱。例如：考慮如下查詢 Q3，我們是否可以根據 T1.C_CI = 'A' 和 T1.C_CI = T2.C_BIN 推導產生一個新的謂詞 T2.C_BIN = 'A' ？

**這種推導方式是錯誤的。**這是因為，這裡的謂詞進行比較時，比較的方式並不相同。在 T1.C_CI = 'A' 中，字串比較時大小寫不敏感的，即：'a', 'A' 等均滿足過濾條件。但 T1.C_CI = T2.C_BIN 是按照大小寫敏感的方式比較字串。結合這兩個謂詞，僅能推斷出：T2.C_BIN的取值為 'a' 或者 'A'。但是 T2.C_BIN = 'A'是大小寫敏感的比較，它會直接過濾掉取值為 'a' 的資料。因此，推導產生這個新謂詞是不正確的。

````
CREATE TABLE T1 (C_CI VARCHAR(10) UTF8_GENERAL_CI);
CREATE TABLE T2 (C_BIN VARCHAR(10) UTF8_BIN);

Q3: SELECT * FROM T1, T2 
    WHERE T1.C_CI = 'ABC' AND T1.C_CI = T2.C_BIN;

=>

Q4: SELECT * FROM T1, T2 
    WHERE T1.C_CI = 'ABC' AND T1.C_CI = T2.C_BIN AND T2.C_BIN = 'ABC';
````

## 三、總結

本文主要介紹了一些謂詞的推導方式。推導新謂詞對查詢最佳化而言是非常重要的。基於新的謂詞，查詢最佳化器可以選擇更好的索引，生成更好的基表訪問路徑。因此，謂詞推導是一項非常重要的最佳化技術。謂詞相關的最佳化還有很多，**在下一篇文章中，我們將介紹謂詞移動的技術。**它會調整謂詞在查詢中的位置，將謂詞移動到更合理的位置，提上整個查詢的效能。</t1.c1>

SQL 改寫系列六：謂詞推導

相關文章