資料庫分庫分表中介軟體 Sharding-JDBC 原始碼分析 —— SQL 解析（三）之查詢SQL解析

芋道原始碼_以德服人_不服就幹發表於2017-08-12
資料庫JDBC原始碼SQL

???關注微信公眾號：【芋艿的後端小屋】有福利：

  1. RocketMQ / MyCAT / Sharding-JDBC 所有原始碼分析文章列表
  2. RocketMQ / MyCAT / Sharding-JDBC 中文註釋原始碼 GitHub 地址
  3. 您對於原始碼的疑問每條留言都將得到認真回覆。甚至不知道如何讀原始碼也可以請教噢。
  4. 新的原始碼解析文章實時收到通知。每週更新一篇左右。
  5. 認真的原始碼交流微信群。

本文主要基於 Sharding-JDBC 1.5.0 正式版

1. 概述

本文前置閱讀：

本文分享插入SQL解析的原始碼實現。

不考慮 INSERT SELECT 情況下，插入SQL解析比查詢SQL解析複雜度低的多的多。不同資料庫在插入SQL語法上也統一的多。本文分享 MySQL 插入SQL解析器 MySQLInsertParser。

MySQL INSERT 語法一共有 3 種 ：

  • 第一種：INSERT {VALUES | VALUES}
INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
    [INTO] tbl_name
    [PARTITION (partition_name,...)]
    [(col_name,...)]
    {VALUES | VALUE} ({expr | DEFAULT},...),(...),...
    [ ON DUPLICATE KEY UPDATE
      col_name=expr
        [, col_name=expr] ... ]複製程式碼
  • 第二種：INSERT SET
INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
    [INTO] tbl_name
    [PARTITION (partition_name,...)]
    SET col_name={expr | DEFAULT}, ...
    [ ON DUPLICATE KEY UPDATE
      col_name=expr
        [, col_name=expr] ... ]複製程式碼
  • 第三種：INSERT SELECT
INSERT [LOW_PRIORITY | HIGH_PRIORITY] [IGNORE]
    [INTO] tbl_name
    [PARTITION (partition_name,...)]
    [(col_name,...)]
    SELECT ...
    [ ON DUPLICATE KEY UPDATE
      col_name=expr
        [, col_name=expr] ... ]複製程式碼

Sharding-JDBC 目前支援：

  • 第一種：INSERT {VALUES | VALUES} 單條記錄
  • 第二種：INSERT SET

Sharding-JDBC 插入SQL解析主流程如下：

// AbstractInsertParser.java
public final InsertStatement parse() {
   sqlParser.getLexer().nextToken(); // 跳過 INSERT 關鍵字
   parseInto(); // 解析INTO
   parseColumns(); // 解析表
   if (sqlParser.equalAny(DefaultKeyword.SELECT, Symbol.LEFT_PAREN)) {
       throw new UnsupportedOperationException("Cannot support subquery");
   }
   if (getValuesKeywords().contains(sqlParser.getLexer().getCurrentToken().getType())) { // 第一種插入SQL情況
       parseValues();
   } else if (getCustomizedInsertKeywords().contains(sqlParser.getLexer().getCurrentToken().getType())) { // 第二種插入SQL情況
       parseCustomizedInsert();
   }
   appendGenerateKey(); // 自增主鍵
   return insertStatement;
}複製程式碼

Sharding-JDBC 正在收集使用公司名單：傳送門。
? 你的登記，會讓更多人蔘與和使用 Sharding-JDBC。傳送門
Sharding-JDBC 也會因此，能夠覆蓋更多的業務場景。傳送門
登記吧，騷年！傳送門

2. InsertStatement

插入SQL 解析結果。

public final class InsertStatement extends AbstractSQLStatement {
    /**
     * 插入欄位
     */
    private final Collection<Column> columns = new LinkedList<>();
    /**
     *
     */
    private GeneratedKey generatedKey;
    /**
     * 插入欄位 下一個Token 開始位置
     */
    private int columnsListLastPosition;
    /**
     * 值欄位 下一個Token 開始位置
     */
    private int valuesListLastPosition;
}複製程式碼

我們來看下 INSERT INTO t_order (uid, nickname) VALUES (?, ?) 的解析結果：

3. #parse()

3.1 #parseInto()

解析表。

// AbstractInsertParser.java
/**
* 解析表
*/
private void parseInto() {
   // 例如，Oracle，INSERT FIRST/ALL 目前不支援
   if (getUnsupportedKeywords().contains(sqlParser.getLexer().getCurrentToken().getType())) {
       throw new SQLParsingUnsupportedException(sqlParser.getLexer().getCurrentToken().getType());
   }
   sqlParser.skipUntil(DefaultKeyword.INTO);
   sqlParser.getLexer().nextToken();
   // 解析表
   sqlParser.parseSingleTable(insertStatement);
   skipBetweenTableAndValues();
}
/**
* 跳過 表 和 插入欄位 中間的 Token
* 例如 MySQL ：[PARTITION (partition_name,...)]
*/
private void skipBetweenTableAndValues() {
   while (getSkippedKeywordsBetweenTableAndValues().contains(sqlParser.getLexer().getCurrentToken().getType())) {
       sqlParser.getLexer().nextToken();
       if (sqlParser.equalAny(Symbol.LEFT_PAREN)) {
           sqlParser.skipParentheses();
       }
   }
}複製程式碼

其中 #parseSingleTable() 請看《SQL 解析（二）之SQL解析》的 #parseSingleTable() 小節。

3.2 #parseColumns()

解析插入欄位。

// AbstractInsertParser.java
private void parseColumns() {
   Collection<Column> result = new LinkedList<>();
   if (sqlParser.equalAny(Symbol.LEFT_PAREN)) {
       String tableName = insertStatement.getTables().getSingleTableName();
       Optional<String> generateKeyColumn = shardingRule.getGenerateKeyColumn(tableName); // 自動生成鍵資訊
       int count = 0;
       do {
           // Column 插入欄位
           sqlParser.getLexer().nextToken();
           String columnName = SQLUtil.getExactlyValue(sqlParser.getLexer().getCurrentToken().getLiterals());
           result.add(new Column(columnName, tableName));
           sqlParser.getLexer().nextToken();
           // 自動生成鍵
           if (generateKeyColumn.isPresent() && generateKeyColumn.get().equalsIgnoreCase(columnName)) {
               generateKeyColumnIndex = count;
           }
           count++;
       } while (!sqlParser.equalAny(Symbol.RIGHT_PAREN) && !sqlParser.equalAny(Assist.END));
       //
       insertStatement.setColumnsListLastPosition(sqlParser.getLexer().getCurrentToken().getEndPosition() - sqlParser.getLexer().getCurrentToken().getLiterals().length());
       //
       sqlParser.getLexer().nextToken();
   }
   insertStatement.getColumns().addAll(result);
}複製程式碼

3.3 #parseValues()

解析值欄位

/**
* 解析值欄位
*/
private void parseValues() {
   boolean parsed = false;
   do {
       if (parsed) { // 只允許INSERT INTO 一條
           throw new UnsupportedOperationException("Cannot support multiple insert");
       }
       sqlParser.getLexer().nextToken();
       sqlParser.accept(Symbol.LEFT_PAREN);
       // 解析表示式
       List<SQLExpression> sqlExpressions = new LinkedList<>();
       do {
           sqlExpressions.add(sqlParser.parseExpression());
       } while (sqlParser.skipIfEqual(Symbol.COMMA));
       //
       insertStatement.setValuesListLastPosition(sqlParser.getLexer().getCurrentToken().getEndPosition() - sqlParser.getLexer().getCurrentToken().getLiterals().length());
       // 解析值欄位
       int count = 0;
       for (Column each : insertStatement.getColumns()) {
           SQLExpression sqlExpression = sqlExpressions.get(count);
           insertStatement.getConditions().add(new Condition(each, sqlExpression), shardingRule);
           if (generateKeyColumnIndex == count) { // 自動生成鍵
               insertStatement.setGeneratedKey(createGeneratedKey(each, sqlExpression));
           }
           count++;
       }
       sqlParser.accept(Symbol.RIGHT_PAREN);
       parsed = true;
   }
   while (sqlParser.equalAny(Symbol.COMMA)); // 欄位以 "," 分隔
}
/**
* 建立 自動生成鍵
*
* @param column 欄位
* @param sqlExpression 表示式
* @return 自動生成鍵
*/
private GeneratedKey createGeneratedKey(final Column column, final SQLExpression sqlExpression) {
   GeneratedKey result;
   if (sqlExpression instanceof SQLPlaceholderExpression) { // 佔位符
       result = new GeneratedKey(column.getName(), ((SQLPlaceholderExpression) sqlExpression).getIndex(), null);
   } else if (sqlExpression instanceof SQLNumberExpression) { // 數字
       result = new GeneratedKey(column.getName(), -1, ((SQLNumberExpression) sqlExpression).getNumber());
   } else {
       throw new ShardingJdbcException("Generated key only support number.");
   }
   return result;
}複製程式碼

3.4.1 GeneratedKey

自動生成鍵，屬於分片上下文資訊。

public final class GeneratedKey {
    /**
     * 欄位
     */
    private final String column;
    /**
     * 第幾個佔位符
     */
    private final int index;
    /**
     * 值
     */
    private final Number value;
}複製程式碼

3.4.2 Condition

條件物件，屬於分片上下文資訊。在插入SQL解析裡儲存影響分片的值欄位。後續《SQL 路由》 會專門分享這塊。

public final class Condition {

    /**
     * 欄位
     */
    @Getter
    private final Column column;

    // ... 省略其它屬性
}

public final class Column {

    /**
     * 列名
     */
    private final String name;
    /**
     * 表名
     */
    private final String tableName;
}複製程式碼

3.4 #parseCustomizedInsert()

解析第二種插入SQL：INSERT SET。例如：

INSERT INTO test SET id = 4  ON DUPLICATE KEY UPDATE name = 'doubi', name = 'hehe';
INSERT INTO test SET id = 4, name = 'hehe';複製程式碼
private void parseInsertSet() {
   do {
       getSqlParser().getLexer().nextToken();
       // 插入欄位
       Column column = new Column(SQLUtil.getExactlyValue(getSqlParser().getLexer().getCurrentToken().getLiterals()), getInsertStatement().getTables().getSingleTableName());
       getSqlParser().getLexer().nextToken();
       // 等號
       getSqlParser().accept(Symbol.EQ);
       // 【值】表示式
       SQLExpression sqlExpression;
       if (getSqlParser().equalAny(Literals.INT)) {
           sqlExpression = new SQLNumberExpression(Integer.parseInt(getSqlParser().getLexer().getCurrentToken().getLiterals()));
       } else if (getSqlParser().equalAny(Literals.FLOAT)) {
           sqlExpression = new SQLNumberExpression(Double.parseDouble(getSqlParser().getLexer().getCurrentToken().getLiterals()));
       } else if (getSqlParser().equalAny(Literals.CHARS)) {
           sqlExpression = new SQLTextExpression(getSqlParser().getLexer().getCurrentToken().getLiterals());
       } else if (getSqlParser().equalAny(DefaultKeyword.NULL)) {
           sqlExpression = new SQLIgnoreExpression();
       } else if (getSqlParser().equalAny(Symbol.QUESTION)) {
           sqlExpression = new SQLPlaceholderExpression(getSqlParser().getParametersIndex());
           getSqlParser().increaseParametersIndex();
       } else {
           throw new UnsupportedOperationException("");
       }
       getSqlParser().getLexer().nextToken();
       // Condition
       if (getSqlParser().equalAny(Symbol.COMMA, DefaultKeyword.ON, Assist.END)) {
           getInsertStatement().getConditions().add(new Condition(column, sqlExpression), getShardingRule());
       } else {
           getSqlParser().skipUntil(Symbol.COMMA, DefaultKeyword.ON);
       }
   } while (getSqlParser().equalAny(Symbol.COMMA)); // 欄位以 "," 分隔
}複製程式碼

3.5 #appendGenerateKey()

當表設定自動生成鍵，並且插入SQL沒寫自增欄位，增加該欄位。例如：

// 主鍵為user_id
INSERT INTO t_user(nickname, age) VALUES (?, ?)複製程式碼

後續 SQL 改寫會生成該自增編號，並改寫該 SQL。後續《SQL 改寫》 會專門分享這塊。

private void appendGenerateKey() {
   // 當表設定自動生成鍵，並且插入SQL沒寫自增欄位
   String tableName = insertStatement.getTables().getSingleTableName();
   Optional<String> generateKeyColumn = shardingRule.getGenerateKeyColumn(tableName);
   if (!generateKeyColumn.isPresent() || null != insertStatement.getGeneratedKey()) {
       return;
   }
   // ItemsToken
   ItemsToken columnsToken = new ItemsToken(insertStatement.getColumnsListLastPosition());
   columnsToken.getItems().add(generateKeyColumn.get());
   insertStatement.getSqlTokens().add(columnsToken);
   // GeneratedKeyToken
   insertStatement.getSqlTokens().add(new GeneratedKeyToken(insertStatement.getValuesListLastPosition()));
}複製程式碼

3.5.1 GeneratedKeyToken

自增主鍵標記物件。

public final class GeneratedKeyToken implements SQLToken {

    /**
     * 開始位置
     */
    private final int beginPosition;
}複製程式碼

666. 彩蛋

? 是不是比《SQL 解析（三）之插入SQL》簡單很多。

道友，可否分享一波【本文】到朋友圈。

繼續加油更新！

相關文章