為什麼編譯原理被稱為龍書？

碎碎念

為什麼這本書叫做 龍書(Dragon book)？

這本書很有意思，它的書名是 《Compilers: Principles, Techniques, and Tools》，也就是編譯器的原則、技術和工具。但它卻畫出了一個恐龍和騎士，恐龍身上寫的是 Complexity of Compiler Design，也就是複雜的編譯器設計，騎士的盾上寫的是 Syntax Directed Granslation，也就是語法翻譯。騎士的劍上看的不是很清楚，我猜測應該是優秀的編譯器的意思。這是征服複雜性的隱喻。優秀的編譯器會直接征服複雜的編譯，複雜的編譯設計永遠無法攻破語法翻譯。

什麼是編譯原理

計算機是隻認識二進位制的，但是我們平常開發中根本不會使用二進位制進行開發，我們使用的都是 Java、C 這類的高階語言，每種語言都會經過一系列的轉換才能被計算機識別，那麼到底是誰做的這項工作呢？一個被稱為 編譯器(compiler) 的大佬出場了。

語言處理器

首先考慮一下一個例子，你如何才能和老外對話？你是不是需要學英語？我們有一些同學可能認為英語難學，經常會在英語書上做一些漢語標記方便理解。

那麼，誰做了由英語到方便記憶 的英語之間的轉換呢？答案是你的大腦。所以，我們可以歸納一下這個過程。

因為我們懂漢語（自己的一套語法規則），我們把英語（需要學習的語言）轉換為我們便於理解的漢語（大腦翻譯規則），我們才能學會英語和老外對話（轉換為目標語言）。

這裡我說一點：昨天晚上外出遛狗有個老黑和中國女生對話，中國女生竟然講英文？？？？？？這可是中國本土好麼，為什麼外國人來到中國不講漢語偏要中國人講英文？？？你去外國旅遊你會講中文嗎？？？這是一個基本認知問題，別怪我偏執。我認為外國人要來我們國家最基本的一點就是：你要學中文。

回到正題，我們上面舉出的這個學英語的例子，其實就是一個由原程式經過某種機制轉換，把它變成目標語言的過程。也就是

編譯器就是一個翻譯官的角色，它負責把源程式的語法翻譯成目標程式能夠理解的語法。

回到計算機中，我們肯定需要目標程式來做一些事情的。

也就是，我們通過某個渠道獲得的輸入資訊，會經過編譯器的轉換，變為輸出資訊進行展示。

除了編譯器之外，還有一種稱為 直譯器(interpreter) 的語言處理器，它不是做翻譯工作的，而是把使用者提供的輸入執行源程式中指定的操作。

我們熟知的 Java 語言，就結合了編譯和解釋的過程，我們寫的 Java 原始檔首先被編譯成 位元組碼(bytecode)，位元組碼是一種中間碼，它通常被看成是可執行的二進位制檔案。然後再由 Java 虛擬機器對位元組碼解釋執行。這樣，在一臺機器上編譯的位元組碼就能夠在其他機器上解釋執行，這種體現了 Java 語言的平臺無關性。

為了提高編譯速度，Java 中有一種 just-in-time,JIT 即時編譯器會一邊編譯一邊執行。

一個原始檔程式可能被劃分為多個模組，並存放在多個檔案中，還需要把檔案連結在一起，所以，除了編譯器之外，還需要一種能連結檔案的部件參與，前處理器(preprossor) 是做這件事情的。如下圖所示

前處理器經過預處理後會作為輸入傳遞給編譯器，編譯器對源程式進行編譯，編譯完成後生成彙編程式碼，作為彙編器的輸入傳遞給彙編器，彙編器進行彙編處理轉換為機器程式碼，注意這個時候還不是目的碼，還要經過連結器與系統庫函式進行連結，最後由載入器把目的碼載入到記憶體中執行

編譯器的結構

我們上面大概瞭解了一下語言的處理過程，下面我們就來了解一下編譯器的內部結構，編譯器內部其實具有兩種結構：分析(analysis)部分和 整合(synthesis) 部分。

分析過程相當於是把源程式分成多個結構，每個結構都有特定的語法格式進行校驗，在經由每個校驗後，如果不滿足指定的語法格式則進行提醒，使使用者進行修改。分析部分還會收集有關源程式的資訊，會把收集到的資訊存放在一個被稱為 符號表(symbol table) 的資料結構中。符號表和中間表示形式一起傳給整合部分。

整合過程是根據分析過程傳遞的資訊來構造使用者期待的目標程式。分析和整合統稱為 前端(front end) 和 後端(back end) ，哈哈哈哈。

這裡你需要知道符號表(Symbol Table) 的概念：符號表是編譯器使用和維護的資料結構，由識別符號和型別組成。符號表的主要作用是幫助編譯器快速定位。

下面是一個編譯器的典型結構

下面我們就針對編譯器結構的每一層進行描述和討論

詞法分析

詞法分析(Lexical Analyzer)是編譯器的第一個步驟，它也被稱為 掃描(scanning)。詞法分析器通過讀入外部的字元流對其進行掃描，並且把它們組成有意義的詞素(lexeme)序列，對於每個詞素，詞法分析器都會產生詞法單元(token) 作為輸出。這個詞法單元會傳遞給下一個步驟，也就是語法分析。

這裡需要解釋一下 Token 、詞素和詞法分析器的概念

我們常用的程式語言就是具有詞素的單詞和符號的集合，比如 C 語言中有 ()，-> 等等。關鍵字 if...while...，變數或函式名稱以及數字和字串常量也被視為詞素。並不是所有的自負都屬於詞素，例如空格和註釋就不屬於。

詞法分析器用來分析詞素有兩個規則

• 跳過不能以字母開頭的字元
• 然後找到剩餘的最長字首，也就是詞素

這兩句話比較抽象，舉個例子來說明一下

比如 C 語言中有這麼一個語句

ifx = 20*30;

那麼第一個詞素就是 ifx，為什麼不是 if 呢？因為 if 不是最長的字首。然後後面的詞素依次是 =，20，*，30和；。

詞素、詞法分析器、token 的關係如下

詞素是 Token 的例項，詞法分析器的主要任務就是從源程式中讀取字元併產生 token。token 也是有結構的，一般結構如下

在詞法分析生成的 token 中，第一個詞 token-name 是語法分析期間使用的抽象符號，第二個詞 attribute-value 指向的是符號表中關於這個詞法單元的條目數。

我們舉個例子來看一下詞法分析的拆解過程。

比如現在源程式中有一個賦值語句

income = mainjob + sideline // 收入 = 主業 + 副業

這個賦值語句中的字元可以組合成如下詞素，並轉換成為 token，並傳遞給語法分析階段。

• 首先，income 是一個詞素，它會被對映為 <id,1>，其中 id 是表示的 識別符號(identifier) 的抽象符號，而 1 指的是符號表中 income 在符號表中的條數。

• 然後是賦值符號 = ，它也是一個詞素，被對映稱為 token 中的 < = >。這個 token 不需要屬性值，所以沒有第二個詞。

• mainjob 是一個詞素，它被對映成為 token 中的 <id,2>，2 是 mainjob 對應的符號表條目

• +也是一個詞素，它被對映稱為 < + >，沒有條目數

• sideline 是一個詞素，它被對映稱為 token 中的 <id,3>，3 是 sideline 對應的符號表條目

所以，經過詞法分析後，上面的源程式會變為

<id,1> < = > <id,2> < + > <id,3>

在上面的表示式中， = 和 + 分別表示賦值和加法運算子的抽象符號。用圖來表示的話就是

語法分析

編譯器的第二個步驟是 語法分析(syntax analysis) 或者稱為 解析(parsing)。語法分析器使用由詞法分析器生成的各個詞法單元的第一個分量來建立樹形的中間表示。常用的方法就是 語法樹(syntax tree)。編譯器的後續步驟都會使用這個語法結構來幫助分析源程式，並聲稱目標程式。

語義分析

語義分析是由 語義分析器(semantic analyzer) 完成的，它使用語法樹和符號表中的資訊來檢查源程式是否和語言定義的語義一致。語義分析器也收集型別資訊，並把這些資訊放在語法樹或者符號表中，以便後續的中間程式碼生成器使用。

語義分析會進行型別檢查(type checking)，這是語義分析器的一個最重要的功能。編譯器會檢查每個運算子是否具有匹配的運算分量。舉個例子比如設計語言要求一個陣列的下標是整數，如果你用浮點數座位下標，編譯器就會出錯。

某些程式設計語言比如 Java 會允許自動型別轉換(coercion)。如果整數和浮點數進行運算，編譯器會把整數轉換為浮點數。

中間程式碼生成

在源程式的語法分析和語義分析完成後，很多編譯器生成一個明確的低階類機器語言的中間表示。我們可以把中間表示形式看作是抽象，中間形式的程式碼應該具有兩個重要的性質：易於生成，並且能夠輕鬆的被翻譯。一般常用的一種是 三地址指令(three-address instructions)的中間表示形式。我們後面會細說。

程式碼優化

程式碼優化會試圖改進程式碼以便生成更好的目的碼。更好通常情況下意味著更快，但是也可能會有其他目標，比如更短或能耗更低的目的碼。

程式碼生成

程式碼生成通過中間程式碼作為輸入，並把它對映為目標語言。如果目標語言是機器程式碼的話，那麼必須要為每個變數分配暫存器或記憶體位置。解釋一下上面的執行結果。

每個指令的第一個運算分量指定了一個目標地址，各個指令中的 F 告訴我們它處理的是 浮點數, 上面程式碼首先把 id3 裝載進 R2 暫存器中，然後把 id2 裝載進 R1 暫存器中，再對 R1 目標進行 R1 和 R2 暫存器相加的操作。最後把暫存器 R1 的值存放到 id1 的地址中。

符號表管理

我們上面提到了符號表的概念，它是一個編譯器很重要的功能。符號表能夠記錄源程式中使用變數的名稱，並收集和每個名稱相關的屬性資訊。它相當於一個祕書的作用。符號表還記錄了每個變數名字的條目。後面我們會詳細的介紹符號表。

編譯器構造工具

和軟體開發一樣，寫編譯器的人可以充分利用現代的軟體開發環境進行開發。通常也有 語言編輯器、除錯工具、版本管理、測試工具等。除此之外，還需要一些更專業的工具來實現編輯器不同階段的程式碼生成。

一些常用的編譯器構造工具有

• 語法分析器生成器：可以根據程式設計語言的語法描述自動生成語法分析器
• 掃描器生成器：可以根據一個語言的語法單元的正則描述生成詞法分析器
• 語法制導的翻譯引擎：用於生成一組遍歷分析樹並聲稱中間程式碼
• 程式碼生成器：用於把中間程式碼轉換為目的碼
• 資料流分析引擎：用於分析輸入是如何傳遞到另一部分的
• 編譯器構造工具：提供用於構造編譯器不同階段的例程

程式設計語言的發展歷程

計算機從 20 世紀 40 年代建立至今都只能理解二進位制語言，亙古不變。這個 0 、 1 組成的序列能夠告訴計算機以什麼樣的順序執行怎樣的運算。運算本身是很底層的：比如把一個資料從一個位置進行移動；把兩個暫存器的內容進行相加、比較兩個值，為了避免如此枯燥的運算，我們開發了各種各樣的程式語言，但是計算機底層的計算方式一直沒變，所以學習哪個技術價效比高，明白了嗎？下面我們就來一起認識一下程式設計語言的歷程。

高階設計語言

首先被開發出來的是 20 世紀 50 年代的組合語言，5 年後發生了重要的進步，用於科學計算的 Fortran 被開發出來，用於商業處理的 Cobol 語言和用於符號計算的 Lisp 語言被開發出來；然後接下來的時間，慢慢很多程式語言被開發出來，比如 C、C++、Java、JavaScript、Python 等。後面還有用於資料處理的 SQL 語言。

語言分類

說到給這些程式語言分類，那可是有太多了，不過我們專注一下高頻的分類。

如何完成計算任務的語言稱為 強制式(imperative)語言，而把程式中指明要進行哪些計算的語言稱為 宣告式(declarative)語言。 C、C++、Java 這些都是強制式語言，它們能夠改變程式的狀態；宣告式比如 HTML Prolog 等。

馮·諾伊曼 語言指的是以馮·諾伊曼計算機體系為基礎的程式語言，今天很多程式語言都是馮·諾伊曼語言

面嚮物件語言(object-oriented language) 是一種描述物件的語言，比如 C、C++、Java

指令碼語言(scripting language) 是具有高層次的解釋型語言，它通常把多個過程粘在一起，比如 JavaScript、Perl、PHP、Python 等。

程式設計語言基礎

下面我們主要探討程式設計語言的研究中最重要的術語和它們的區別，假設讀者已經瞭解過 C、C++、C#、Java 中任意一種語言。

靜態和動態的區別

編譯器需要能夠對程式作出判定，如果語言能夠讓編譯器靜態（非執行）時候決定某個問題，那麼我們說這個語言使用了一種 靜態(static) 策略，或者說能夠在 編譯時刻(compile time) 決定。如果讓編譯器在執行時決定某個策略，那麼就是動態策略(dynamic policy)，或者被認為是 執行時決定(run time) 。

還有一個問題是宣告的作用域(scope)，如果能夠通過閱讀程式就能確定一個宣告的作用域，那麼這個語言就是靜態作用域(static scope)，或者說是 詞法作用域(lexical scope)。否則這個語言使用的是 動態作用域(dynamic scope)。動態作用域的指向物件是幾個宣告中的一個，並不惟一。

C 和 Java 都使用了靜態作用域，比如 Java 中的 static 關鍵字，下面是一段程式碼示例

public static int x;

這段程式碼在建立完成後就能夠確定它的作用域，因為 static 宣告的變數是類變數，類變數的例項能確保只有一個個（不太清楚的小夥伴可以參考我的這篇文章 都說變數有七八種，到底誰是 Java 的親兒子）

如果你去掉了 static ，那麼這個變數的作用域和在記憶體中的分配就無法確定，編譯器無法在執行之前確定所有這些位置。

靜態繫結和動態繫結

同樣的，名字到位置也區分靜態繫結和動態繫結，如果能在非執行條件下唯一確定名字到位置，那麼就是靜態繫結，如果要在程式執行時才能確定名字和位置的繫結，那麼就是動態繫結。

靜態作用域和塊結構

大多數程式語言都提供了作用域這麼一個結構，比如 Java 中的 private,protected,public 等關鍵字的使用，提供了有效的作用域控制。

塊結構也是一種作用域，使用塊結構表示的含義是在塊內部(block) 作用範圍有效，塊使用 {} 來界定一個塊。

這種語法允許在任意函式或者方法的內部嵌入一個塊，這種巢狀結構也被稱為 塊結構(block structure)。

引數傳遞機制

引數傳遞機制主要描述的是形式引數和實際引數的關聯。大多數程式語言都支援兩種呼叫：值傳遞和 引用傳遞

值傳遞

在值傳遞(call-by-value) 中，會對實參求值或拷貝，這些值被放在屬於被呼叫的形式引數的記憶體位置上，這種呼叫方式在 C 和 Java 中都會使用，值呼叫的結果是，實參本身不會改變。但是在 C 中，我們可以傳遞一個指標，使得變數的值能夠被修改。

引用傳遞

在 引用傳遞(call-by-reference) 中，實際引數的地址作為相應的形式引數的值被傳遞給呼叫者。在被呼叫者的程式碼中使用形式引數，實現方法是沿著這個指標找到呼叫者指明的記憶體位置。因此，改變實際引數相當於改變了形式引數。