輸入一條SQL語句,PostgreSQL如何解析輸入的SQL,識別SQL型別以及基表/欄位等資訊.接下來的幾節將逐一進行解析,本節首先介紹解析SQL相關的基礎知識:詞法分析.

### 一、詞法分析
**基本概念**
首先來理清一些基本概念.
詞法分析從左向右掃描輸入的SQL語句，將其字元流分割成一個個的詞(稱為token),這些token是輸入流中不可再分割的一串字元，類似於英語中單詞，或漢語中的詞。
SQL語句中token的類別是有限的,一般來說有常量(數值/字元/字串等),運算子(算術運算子/邏輯運算子等),分隔符(逗號/分號/括號等),保留關鍵字,識別符號(函式名/過程名等).如:1和200.13是數值常量token,'張三'和'廣州市'是字串常量token,+/-等是運算子token等.

**Flex簡介**
在PostgreSQL中,使用了開源的Flex對SQL進行詞法分析.
Flex全稱為Fast LEXical analyser generator - scanner generator for lexing in C and C++.
Flex的輸入檔案格式為:
```
%{
Declarations(宣告)
%}

Definitions(定義)

%%
Rules(規則)
%%

User subroutines(使用者子過程)

```
如:
```
%{
    #define T_ZEOR 0
    int i = 0;
%}

NUM ([0-9]+)

%%
{NUM}  printf("?");     //遇到數字,列印?
#       return T_ZEOR;  //遇到字元#,返回0
.       ECHO;           //遇到其他字元,列印該字元
%%

int main(int argc, char* argv[]) {
    yylex();
    return T_ZEOR;
}

int yywrap() {
    return 1;
}

```
該例程的執行效果如下:
```
[root@localhost mytest]# ./mytest 
1t33..q
?t?..q
#
```

**SQL詞法分析器**
使用Flex可以實現一個簡單的SQL詞法分析器,簡單分為以下幾個步驟:
1.列出SQL中所有型別的token
2.為每種token分配一個唯一的編號,同時寫出該token的正規表示式
3.寫出每種token的rule

*sql.l*
```
%{
int current_linenum = 1;
void init();
void elog(char* msg, int line);
typedef enum {
    T_EQUAL = 128   ,
    T_SELECT    ,
    T_CONST     ,
    T_STRING    ,
    T_ID
} TokeType;

static char* string_token[] = {
        "T_EQUAL", "T_SELECT", "T_CONST", "T_STRING", "T_ID"
    };

%}

INTEGER             ([0-9]+)
UNTERM_STRING       ("'"[^'\n]*)
STRING              ("'"[^'\n]*"'")
IDENTIFIER          ([_a-zA-Z][_a-zA-Z0-9]*)
OPERATOR            ([+*-/%=,;!<>(){}])
SINGLE_COMMENT      ("//"[^\n]*)

%%

[\n]                { current_linenum++;                       }
[ \t\r\a]+          { /* ignore all spaces */               }
{SINGLE_COMMENT}    { /* skip for single line comment */    }

{OPERATOR}          { return yytext[0];         }

"="                 { return T_EQUAL;           }
"select"            { return T_SELECT;          }
{INTEGER}           { return T_CONST;       }
{STRING}            { return T_STRING;      }
{IDENTIFIER}        { return T_ID;          }

<<eof>>             { return 0; }

{UNTERM_STRING}     { elog("Unterminated string constant", current_linenum);  }
.                   { elog("Unrecognized character", current_linenum);        }

%%

int main(int argc, char* argv[]) {
    int token;
    init();
    while (token = yylex()) {
    if(token < 128) 
            printf("%-20c", token);
    else
        printf("%-20s",string_token[token - 128]);
        puts(yytext);
    }
    return 0;
}

void init() {
    printf("%-20s%s\n", "TOKEN-TYPE", "TOKEN-VALUE");
    printf("-------------------------------------------------\n");
}

void elog(char* msg, int line) {
    printf("\nError at line %-3d: %s\n\n", line, msg);
}

int yywrap(void) {
    return 1;
}

```

*makefile*
```
run: sql
    ./sql < test.sql

sql: lex.yy.c
    gcc -o $@ $<

lex.yy.c: sql.l
    flex $<

```

*樣例SQL指令碼*
```
select *
from test1
where c1 = 'TEST';

```
執行結果:
```
[root@localhost sql]# make
./sql < test.sql
TOKEN-TYPE          TOKEN-VALUE
-------------------------------------------------
T_SELECT            select
*                   *
T_ID                from
T_ID                test1
T_ID                where
T_ID                c1
=                   =
T_STRING            'TEST'
;                   ;
```
上面只是實現了一個非常簡單的SQL詞法解析器,但思路基本如此,無非是透過窮舉所有的token而已.

### 二、參考資料
[Flex on wiki](https://en.wikipedia.org/wiki/Flex_(lexical_analyser_generator)
[Flex on github](https://github.com/westes/flex)
[Flex&Bison](http://web.iitd.ac.in/~sumeet/flex__bison.pdf)</eof>

PostgreSQL 原始碼解讀（165）- 查詢#85(基礎知識-詞法分析)

相關文章