# SQL 抽象語法樹及改寫場景應用

### 1 背景

我們平時會寫各種各樣或簡單或複雜的 sql 語句，提交後就會得到我們想要的結果集。比如 sql 語句，”select * from t_user where user_id > 10;”，意在從表 t_user 中篩選出 user_id 大於 10 的所有記錄。你有沒有想過從一條 sql 到一個結果集，這中間經歷了多少坎坷呢？

### 2 SQL 引擎

從 MySQL、Oracle、TiDB、CK，到 Hive、HBase、Spark，從關係型資料庫到大資料計算引擎，他們大都可以藉助 SQL 引擎，實現 “接受一條 sql 語句然後返回查詢結果” 的功能。

他們核心的執行邏輯都是一樣的，大致可以透過下面的流程來概括：

![img](https://img1.jcloudcs.com/developer.jdcloud.com/94bc4041-25d8-4630-957a-41624f94b48020220930104414.png)

中間藍色部分則代表了 SQL 引擎的基本工作流程，其中的詞法分析和語法分析，則可以引申出 “抽象語法樹” 的概念。

### 3 抽象語法樹

#### 3.1 概念

高階語言的解析過程都依賴於解析樹（Parse Tree），抽象語法樹（AST，Abstract Syntax Tree）是忽略了一些解析樹包含的一些語法資訊，剝離掉一些不重要的細節，它是原始碼語法結構的一種抽象表示。以樹狀的形式表現程式語言的結構，樹的每個節點 ASTNode 都表示原始碼中的一個結構；AST 在不同語言中都有各自的實現。

![img](https://img1.jcloudcs.com/developer.jdcloud.com/2b51bdc9-80ad-496a-ada6-5747bcd8607720220930104437.png)

解析的實現過程這裡不去深入剖析，重點在於當 SQL 提交給 SQL 引擎後，首先會經過詞法分析進行 “分詞” 操作，然後利用語法解析器進行語法分析並形成 AST。

下圖對應的 SQL 則是 “select username,ismale from userInfo where age>20 and level>5 and 1=1”;

![img](https://img1.jcloudcs.com/developer.jdcloud.com/b00e2f93-b79a-4b86-bfd0-115e9ad5676120220930105231.png)

這棵抽象語法樹其實就簡單的可以理解為邏輯執行計劃了，它會經過查詢最佳化器利用一些規則進行邏輯計劃的最佳化，得到一棵最佳化後的邏輯計劃樹，我們所熟知的 “謂詞下推”、“剪枝” 等操作其實就是在這個過程中實現的。得到邏輯計劃後，會進一步轉換成能夠真正進行執行的物理計劃，例如怎麼掃描資料，怎麼聚合各個節點的資料等。最後就是按照物理計劃來一步一步的執行了。

### 3.2 ANTLR4

解析（詞法和語法）這一步，很多 SQL 引擎採用的是 ANTLR4 工具實現的。ANTLR4 採用的是構建 G4 檔案，裡面透過正規表示式、特定語法結構，來描述目標語法，進而在使用時，依賴語法字典一樣的結構，將 SQL 進行拆解、封裝，進而提取需要的內容。下圖是一個描述 SQL 結構的 G4 檔案。

![img](https://img1.jcloudcs.com/developer.jdcloud.com/d0b9ea3a-8a69-4a10-9991-4326690cf8ac20220930105337.png)

#### 3.3 示例

3.2.1 SQL 解析

博主的環境都是部署在[cnaaa伺服器](https://www.cnaaa.com/)上的，在 java 中的實現一次 SQL 解析，獲取 AST 並從中提取出表名。

首先引入依賴：

```
<dependency>
    <groupid>org.antlr</groupid>
    <artifactid>antlr4-runtime</artifactid>
    <version>4.7</version>
</dependency>
```

在 IDEA 中安裝 ANTLR4 外掛；

示例 1，解析 SQL 表名。

使用外掛將描述 MySQL 語法的 G4 檔案，轉換為 java 類（G4 檔案忽略）。

類的結構如下：

![img](https://img1.jcloudcs.com/developer.jdcloud.com/57617995-f0bb-43cf-ba4d-f5d539925a6020220930105438.png)

其中 SqlBase 是 G4 檔名轉換而來，SqlBaseLexer 的作用是詞法解析，SqlBaseParser 是語法解析，由它生成 AST 物件。HelloVisitor 和 HelloListener：進行抽象語法樹的遍歷，一般都會提供這兩種模式，Visitor 訪問者模式和 Listener 監聽器模式。如果想自己定義遍歷的邏輯，可以繼承這兩個介面，實現對應的方法。

![img](https://img1.jcloudcs.com/developer.jdcloud.com/cb107415-3af5-49f2-87a8-6764b549740520220930105453.png)

讀取表名過程，是重寫 SqlBaseBaseVisitor 的幾個關鍵方法，其中 TableIdentifierContext 是表定義的內容；

![img](https://img1.jcloudcs.com/developer.jdcloud.com/bb952bea-9648-4301-ab2d-e61efc7bc32c20220930105513.png)

SqlBaseParser 下還有 SQL 其他 “詞語” 的定義，對應的就是 G4 檔案中的各類描述。比如 TableIdentifierContext 對應的是 G4 中 TableIdentifier 的描述。

3.2.2 字串解析

上面的 SQL 解析過程比較複雜，以一個簡單字串的解析為例，瞭解一下 ANTLR4 的邏輯。

1）定義一個字串的語法：Hello.g4

![img](https://img1.jcloudcs.com/developer.jdcloud.com/c29d552d-039e-4ec4-bbd4-9616e0483d4720220930105608.png)

2）使用 IDEA 外掛，將 G4 檔案解析為 java 類

![img](https://img1.jcloudcs.com/developer.jdcloud.com/b808df35-f348-4314-93dc-31dff4b518dc20220930105623.png)

3）語法解析類 HelloParser，內容就是我們定義的 h 和 world 兩個語法規則，裡面詳細轉義了 G4 檔案的內容。

![img](https://img1.jcloudcs.com/developer.jdcloud.com/105de2ed-5e1e-4e07-9c41-803c8194a28220220930105641.png)

4）HelloBaseVisitor 是採用訪問者模式，開放出來的介面，需要自行實現，可以獲取 xxxParser 中的規則資訊。

![img](https://img1.jcloudcs.com/developer.jdcloud.com/14137505-977d-4007-b7e6-ae55d004975920220930105701.png)

5）編寫測試類，使用解析器，識別字串 “hi abc”：

![img](https://img1.jcloudcs.com/developer.jdcloud.com/cdac1eb6-c708-4a22-8587-d8d7801557c420220930105715.png)

6）除錯後發現命中規則 h，解析為 Hi 和 abc 兩部分。

![img](https://img1.jcloudcs.com/developer.jdcloud.com/2f9ffc31-c6cd-425f-8fec-2891729eb2bd20220930105739.png)

7）如果是 SQL 的解析，則會一層層的獲取到 SQL 中的各類關鍵 key。

### 4 SqlParser

利用 ANTLR4 進行語法解析，是比較底層的實現，因為 Antlr4 的結果，只是簡單的文法解析，如果要進行更加深入的處理，就需要對 Antlr4 的結果進行更進一步的處理，以更符合我們的使用習慣。

利用 ANTLR4 去生成並解析 AST 的過程，相當於我們在寫 rpc 框架前，先去實現一個 netty。因此在工業生產中，會直接採用已有工具來實現解析。

Java 生態中較為流行的 SQL Parser 有以下幾種（此處摘自網路）：

- fdb-sql-parser 是 FoundationDB 在被 Apple 收購前開源的 SQL Parser，目前已無人維護。
- jsqlparser 是基於 JavaCC 的開源 SQL Parser，是 General SQL Parser 的 Java 實現版本。
- Apache calcite 是一款開源的動態資料管理框架，它具備 SQL 解析、SQL 校驗、查詢最佳化、SQL 生成以及資料連線查詢等功能，常用於為大資料工具提供 SQL 能力，例如 Hive、Flink 等。calcite 對標準 SQL 支援良好，但是對傳統的關係型資料方言支援度較差。
- alibaba druid 是阿里巴巴開源的一款 JDBC 資料庫連線池，但其為監控而生的理念讓其天然具有了 SQL Parser 的能力。其自帶的 Wall Filer、StatFiler 等都是基於 SQL Parser 解析的 AST。並且支援多種資料庫方言。

Apache Sharding Sphere (原噹噹 Sharding-JDBC，在 1.5.x 版本後自行實現)、Mycat 都是國內目前大量使用的開源資料庫中介軟體，這兩者都使用了 alibaba druid 的 SQL Parser 模組，並且 Mycat 還開源了他們在選型時的對比分析 Mycat 路由新解析器選型分析與結果.

#### 4.1 應用場景

當我們拿到 AST 後，可以做什麼？

- 語法稽核：根據內建規則，對 SQL 進行稽核、合法性判斷。
- 查詢最佳化：根據 where 條件、聚合條件、多表 Join 關係，給出索引最佳化建議。
- 改寫 SQL：對 AST 的節點進行增減。
- 生成 SQL 特徵：參考 JIRA 的慢 SQL 工單中，生成的指紋（不一定是 AST 方式，但 AST 可以實現）。

#### 4.2 改寫 SQL

提到改寫 SQL，可能第一個思路就是在 SQL 中新增佔位符，再進行替換；再或者利用正則匹配關鍵字，這種方式侷限性比較大，而且從安全形度不可取。

基於 AST 改寫 SQL，是用 SQL 字串生成 AST，再對 AST 的節點進行調整；透過遍歷 Tree，拿到目標節點，增加或修改節點的子節點，再將 AST 轉換為 SQL 字串，完成改寫。這是在滿足 SQL 語法的前提下實現的安全改寫。

以 Druid 的 SQL Parser 模組為例，利用其中的 SQLUtils 類，實現 SQL 改寫。

**4.2.1 新增改寫**

![img](https://img1.jcloudcs.com/developer.jdcloud.com/128818fa-7b6d-4147-9bd4-d2d747309aa720220930105920.png)

1）原始 SQL

![img](https://img1.jcloudcs.com/developer.jdcloud.com/72445808-e631-4683-a092-36ea05eab83620220930105942.png)

2）實際執行 SQL

![img](https://img1.jcloudcs.com/developer.jdcloud.com/2a25dd75-3925-48da-bc28-e42f79730ea520220930105959.png)

4.2.2 查詢改寫

前面省略了 Tree 的遍歷過程，需要識別諸如 join、sub-query 等語法

![img](https://img1.jcloudcs.com/developer.jdcloud.com/62fefc81-62a5-4143-aff1-64f53d799f3420220930110023.png)

1）簡單 join 查詢

- 原始 SQL

![img](https://img1.jcloudcs.com/developer.jdcloud.com/14ad3288-47e7-479d-ada6-2efa5527691d20220930110113.png)

- 實際執行 SQL

![img](https://img1.jcloudcs.com/developer.jdcloud.com/956e12e3-770b-4aaa-90ba-f9d6d9fe8a8f20220930110132.png)

2）join 查詢 + 隱式 where 條件

- 原始 SQL

![img](https://img1.jcloudcs.com/developer.jdcloud.com/5ac1ed52-871e-46f7-9335-0ebc248f0f4320220930110152.png)

- 實際執行 SQL

![img](https://img1.jcloudcs.com/developer.jdcloud.com/14268799-d15a-4a09-a554-71376dcc32ea20220930110210.png)

3）union 查詢 + join 查詢 + 子查詢 + 顯示 where 條件

- 原始 SQL
  （unionQuality_Union_Join_SubQuery_ExplicitCondition）

![img](https://img1.jcloudcs.com/developer.jdcloud.com/e1140b49-6060-4c4f-a8af-c47d4376c9e820220930110545.png)

- 實際執行 SQL

![img](https://img1.jcloudcs.com/developer.jdcloud.com/1db91497-a8b0-49c8-b1a8-eaa3472c77c320220930110607.png)

### 5 總結

本文是基於環境隔離的技術預研過程產生的，其中改寫 SQL 的實現，是資料庫在資料隔離上的一種嘗試。

可以讓開發人員無感知的情況下，以外掛形式，在 SQL 提交到 MySQL 前實現動態改寫，只需要在資料表上增加欄位、標識環境差異，後續 CRUD 的 SQL 都會自動增加標識欄位（flag=’預發’、flag=’生產’），所操作的資料只能是當前應用所在環境的資料。

SQL 抽象語法樹及改寫場景應用

相關文章