> 系列文章導讀

> OceanBase 是100% 自主研發，**連續9年穩定支撐雙11**，創新推出“三地五中心”城市級容災新標準，是**全球唯一**在 TPC-C 和 TPC-H 測試上都重新整理了世界紀錄的國產原生分散式資料庫，於 2021 年 6 月份正式開放原始碼。查詢最佳化器是關聯式資料庫系統的核心模組，是資料庫核心開發的重點和難點，也是衡量整個資料庫系統成熟度的“試金石”。為了幫助大家更好地理解 OceanBase 查詢最佳化器，我們將撰寫查詢改寫系列文章，帶大家更好地掌握查詢改寫的精髓，熟悉複雜 SQL 的等價性，寫出高效的 SQL。本文是 OceanBase 改寫系列第七篇，將重點和大家介紹一下謂詞移動的技術，歡迎探討～

> 專欄作者介紹

> OceanBase 最佳化器團隊，由 OceanBase 高階技術專家溪峰、技術專家山文等領銜，致力於打造全球領先的分散式查詢最佳化器。

> 系列內容構成

> 本次查詢改寫系列不僅包括子查詢最佳化、聚合函式最佳化、 視窗函式最佳化、 複雜表示式最佳化四大模組，另外還有更多模組內容，敬請期待！本文將透過介紹謂詞移動的部分下推和上拉場景，來幫助讀者快速理解這兩個策略的概念和作用。歡迎關注 **OceanBase 開源使用者群** （**釘釘號：33254054**），進群與 OceanBase 查詢最佳化器團隊一同交流。

##

## 一、 引言

最佳化謂詞推導提升查詢效能是至關重要的。謂詞可以出現在一個 SQL 的多個位置上，可以是主查詢的 Where/Having 子句；也可以是子查詢的 Where/Having 子句。上一篇文章[《SQL 改寫系列六：謂詞推導》](https://open.oceanbase.com/blog/10900314)介紹了謂詞推導只能對每個字句進行獨立最佳化；無法對它們進行綜合最佳化。本文將重點介紹**謂詞移動技術**，它可以改進一個謂詞在 SQL 中出現的位置，也可以綜合多個位置上的謂詞進行推導最佳化。

## 二、謂詞下推

謂詞用於過濾資料。一般來說，儘早地進行資料過濾，可以減少中間結果集的大小，減少後續計算需要處理的資料量。因此，謂詞的一個重要最佳化點是謂詞下推。這個最佳化策略的主要作用是，儘可能的“下壓”謂詞，提前過濾掉部分資料。

在這一節中，我們將以 Q1 為例，介紹謂詞下推的幾種場景。

```
Q1: 
SELECT V1.C1, V2.C2, V1.M1, V2.M2 
FROM
	(SELECT C1, 0 AS C2,  MAX(C3) as M1 FROM T1 GROUP BY C1) V1,
	(SELECT C1,      C2,  AVG(C3) as M2 FROM T2 GROUP BY C1, C2 HAVING M2 > 0) V2
WHERE V1.C1 = V2.C1 AND V1.C2 = V2.C2 AND V1.M1 > V2.M2 AND V1.C1 > 10;
```

Q1 的 FROM 部分是兩個內聯檢視 `V1` 和 `V2`。Q1 主查詢的 WHERE 部分有多個謂詞。其中 `V1.C1 > 10`是檢視 `V1`上的單表過濾條件。謂詞下推可以將它推入到檢視內部。

### 1、謂詞推入檢視

顯然，我們可以將 V1.C1 > 10 這個謂詞移到 V1 內部。在這裡，由於 V1 存在分組聚合操作，因此，從外層下推的謂詞是放到 Having 子句中。

```
V1.C1 > 10 推入檢視

V1-1: SELECT C1, 0 AS C2,  MAX(C3) as M1 FROM T1 GROUP BY C1 HAVING C1 > 10
```

經過謂詞下推之後，V1 的輸出保證了 `C1 > 10`是必然成立的。因此，原始主查詢中 `V1.C1 > 10`的判定結果是恆真的，這是一個冗餘的謂詞，可以直接移除。

### 2、謂詞推入分組

Having 子句中的謂詞還可以嘗試進一步下推。可以看到， `C1 > 10`是分組列上的謂詞。它在分組之前或者分組之後執行產生的效果是完全相同的。我們將其壓入到 Where 子句中，可以提前過濾掉部分資料，減少 GROUP BY 操作需要處理的資料量。

```
C1 > 10 推入 WHERE

V1-2: SELECT C1, 0 AS C2, MAX(C3) AS M1 FROM T1 WHERE C1 > 10 GROUP BY C1;
```

當然， 並不是所有 Having 中的謂詞都可以下推到 Where 中。V2 中存在一個謂詞 `M2 > 0`，這個謂詞引用了一個聚合函式 `AVG(C3)`。聚合函式的結果依賴於分組聚合計算。因此，這個謂詞無法下壓到分組操作之前。

### 3、謂詞下推和謂詞推導

Q1 原始查詢中只有 V1 和 V2 的連線謂詞、以及 V1 上的謂詞。但透過上一篇文章中介紹的[謂詞推導技術](https://open.oceanbase.com/blog/10900314)，我們可以推匯出 V2 的過濾謂詞：`V2.C1 > 10`。這個推導謂詞同樣可以壓入到 V2 中，最佳化 V2 的計算。可以看到，謂詞推導和謂詞下推是相互作用的。推導可以產生更多的下推的機會。同樣的，下推之後，也可以產生更多的推導機會。利用這兩種最佳化策略，我們可以將 Q1 最佳化為以下查詢：

```
Q1 初步最佳化結果：
SELECT V1.C1, V1.C2, V1.M1, V2.M2 
FROM
 (SELECT C1, 0 AS C2, MAX(C3) AS M1
  FROM T1
  WHERE C1 > 10
  GROUP BY C1) V1,
 (SELECT C1, C2, AVG(C3) AS M2
  FROM T2
  WHERE C1 > 10
  GROUP BY C1, C2 HAVING M2 > 0) V2
WHERE V1.C1 = V2.C1 AND V1.C2 = V2.C2 AND V1.M1 > V2.M2;
```

透過謂詞推導和下推，我們對 Q1 進行了一定的最佳化。那以上結果是否為最佳化的最終答案呢？答案是否定的。接下來，我們將介紹另外一種重要的最佳化技術：**謂詞上拉**。它可以進一步最佳化查詢。

## 三、謂詞上拉

本節介紹另外一種謂詞的最佳化技術--謂詞上拉。從名字理解，讀者可能會直觀地認為這是一種反向的最佳化策略，用來延遲謂詞的過濾。筆者需要強調，這種理解**是錯誤的**。謂詞上拉**並不是**謂詞下推的反向最佳化。它主要是將內層子查詢中的謂詞“上拉”到外層查詢中，參與外層的謂詞推導過程，幫助生成更多有意義的謂詞。接下來，我們繼續透過分析 Q1 的最佳化點，來向讀者介紹一些謂詞上拉的場景。

### 1、謂詞上拉

V2 檢視中存在一個 Having 謂詞 `M2 > 0`。對主查詢來說，V2 的輸出必然滿足了 `V2.M2 > 0`；結合主查詢中已有謂詞 `V1.M1 > V2.M2`，我們可以推導得到 `V1.M1 > 0`。顯然，這個推導謂詞可以下推到 V1 檢視中。讀者可以回憶上一篇中介紹的推導技術。`V1`根據 `MAX(C3) > 0`可以進一步推導產生一個 Where 過濾謂詞 `C3 > 0`。

```
上拉 M2 > 0，推導 M1 > 0 並推入 V1，再次推導生成 C3 > 0

V1-3: SELECT C1, 0 AS C2, MAX(C3) AS M1 
      FROM T1 WHERE C1 > 10 AND C3 > 0
      GROUP BY C1
```

### 2、常量上拉

V1 檢視中存在一個特殊的投影表示式 `0 AS C2`。對主查詢來說，V1 的輸出必然滿足了 `V1.C2 = 0`；結合主查詢中已有的謂詞 `V1.C2 = V2.C2`，我們可以推導得到 `V2.C2 = 0`。顯然，這個謂詞也可以推入到 `V2`中。

```
上拉 V1.C2 = 0，推導 V2.C2 = 0 並推入 V2

V2-1: SELECT C1, C2, AVG(C3) AS M2 
      FROM T2 WHERE C1 > 10 AND C2 = 0
      GROUP BY C1, C2 HAVING M2 > 0
```

可以看到，謂詞上拉主要作用是把一個內聯檢視中的謂詞“上拉”到主查詢中，它可以參與主查詢的謂詞推導，幫助產生更多新謂詞。這些新生成的謂詞又會獲得新的下壓機會。綜合三種最佳化技術，Q1 可以最終被最佳化為：

```
Q1 最終最佳化形式：
SELECT V1.C1, V1.C2, V1.M1, V2.M2 
FROM
 (SELECT C1, 0 AS C2, MAX(C3) AS M1 
  FROM T1
  WHERE C1 > 10 AND C3 > 0 
  GROUP BY C1) V1, 
 (SELECT C1, C2, AVG(C3) AS M2
  FROM T2
  WHERE C1 > 10 AND C2 = 0
  GROUP BY C1, C2 HAVING M2 > 0) V2
WHERE V1.C1 = V2.C1 AND V1.M1 > V2.M2;
```

##

## 四、總結

本文主要介紹了謂詞移動的技術。它包含兩個方面，謂詞下推和謂詞上拉。前者負責儘可能提前去執行過濾謂詞，減少後續操作需要處理的資料量；後者主要構造更多的謂詞來參與推導過程，強化推導的效果。謂詞推導和謂詞移動是互相協作、互相強化的，它們是非常重要的兩項謂詞最佳化技術。本文介紹了部分下推和上拉的場景，幫助讀者理解這兩個策略的概念和作用。針對謂詞的最佳化還有很多可以介紹的內容。未來有機會，我們會繼續介紹一些 OceanBase 在謂詞推導或者移動方面積累的最佳化能力。

SQL 改寫系列七：謂詞移動

相關文章