C++模板”>>”編譯問題與詞法消歧設計

發表於2017-01-06

在編譯理論中,通常將編譯過程抽象為5個主要階段:詞法分析(Lexical Analysis),語法分析(Parsing),語義分析(Semantic Analysis),優化(Optimization),程式碼生成(Code Generation)。這5個階段類似Unix管道模型,上一個階段的輸出作為下一個階段的輸入。其中,詞法分析是根據輸入原始碼文字流,分割出詞,識 別類別,產生詞法元素(Token)流,如:

經過詞法分析會得到[(Type, “int”), (Identifier, “a”), (AssignOperator, “=”), (IntLiteral, 10)],在後續的語法分析階段,就會根據這些詞法元素匹配相應的語法規則。在我學習編譯原理時,教科書中對於詞法分析的介紹主要是基於正規表示式的,言 下之意就是普通語言的詞法規則是可以通過正規表示式描述的。比如,C語言的變數名規則是“包含字母、數字或下劃線,並且以字母或下劃線開頭”,這就可以用 正規表示式[a-zA-Z][a-zA-Z0-9]*表達。但是,在實踐中我發現不管是主流語言,還是自己設計的DSL都大量存在不能簡單通過正規表示式進行詞法分析的例子。來看C++98的模版例子:

上面這段程式碼會被C++98編譯器中報語法錯誤,原因在於它把“>>”識別成了位右移運算子而不是兩個模版右括號,在C++98中必須在兩個括號中間加空格,寫成

除此了C++模版,據我所知,經典的FORTRAN語言的語法規則更是大量存在詞法歧義。

我認為從本質上講,這類問題的根源在於詞法分析的依據只是簡單的詞法規則,並不具備所有的語法資訊,而詞法歧義必須提升一層在語法規則中消除。所 以,在我自己設計一些DSL的時候乾脆就把詞法分析和語法分析合二為一了,相當於讓語法分析在字元層次上去進行,而不是經典的詞法元素層次上,這就是所謂 的Scannerless Parsing。採用這種方法的例子並不少見,TeX, Wiki, Makefile和Perl 6等語言的語法分析器都屬此類。

Scannerless Parsing方法彌補了詞法規則無法消歧的問題,但是同時也破壞了詞法和語法分析簡單清晰的管道結構,總體上增加了實現和理解的複雜度。另外,像C++ 這樣大型的語言,如果開始是有詞法分析的,稍微碰到一個歧義就整個轉成Scannerless Parsing未免也顯得太誇張了。這個問題困擾了我很久,直到最近才找到了一個滿意的解決方案。還是以上面”>>”為例,我們知道現在 C++11已經允許不加空格了,那麼C++11編譯器是如何處理這個詞法歧義的呢?答案是:詞法分析階段既然分析不好”>>”,乾脆就不分析 了,直接把”>” “>”交給語法分析器來分析,其他沒有詞法歧義的照舊。當我知道這個方案的時候不由得感嘆:妙!理論上,詞法分析是可以什麼也不做的,全部把字元一 一交給語法分析器也沒有問題,所以,乾脆讓詞法分析只做有把握的部分,解決不了的交給語法分析器,這樣就既保留了管道結構,又解決了詞法歧義。

下面我們再來看看C++11規範關於這個問題的定義:

14.2 Names of template specializations [temp.names] ###
After name lookup (3.4) finds that a name is a template-name or that an operator-function-id or a literal-operator-id refers to a set of overloaded functions any member of which is a function template if this is followed by a <, the < is always taken as the delimiter of a template-argument-list and never as the less-than operator. When parsing a template-argument-list, the first non-nested > is taken as the ending delimiter rather than a greater-than operator. Similarly, the first non-nested >> is treated as two consecutive but distinct > tokens, the first of which is taken as the end of the template-argument-list and completes the template-id. [ Note: The second > token produced by this replacement rule may terminate an enclosing template-id construct or it may be part of a different construct (e.g. a cast).—end note ]

可見,在C++11中,詞法分析器是把”>>”直接當成兩個”>”傳給了語法分析器,然後在語法分析中如果匹配了template- argument-lis語法,第一個”>”符號會被直接認為是模版結束符,而不是大於,也不是位移符號。根據這個定義,我構造了一個例子:

這個例子在C++98中是能正確編譯的,”>>”被解釋成了位移運算,但是它反而不能在C++11中編譯了,因為根據規範第一個”>”被解釋成了模版引數結束符。如果要在C++11中編譯,需要顯式地加上括號:

相關文章