使用 Python 建立你自己的 Shell （上）

我很想知道一個 shell （像 bash，csh 等）內部是如何工作的。於是為了滿足自己的好奇心，我使用 Python 實現了一個名為yosh （Your Own Shell）的 Shell。本文章所介紹的概念也可以應用於其他程式語言。

（提示：你可以在這裡查詢本博文使用的原始碼，程式碼以 MIT 許可證釋出。在 Mac OS X 10.11.5 上，我使用 Python 2.7.10 和 3.4.3 進行了測試。它應該可以執行在其他類 Unix 環境，比如 Linux 和 Windows 上的 Cygwin。）

讓我們開始吧。

步驟 0：專案結構

對於此專案，我使用了以下的專案結構。

yosh_project
|-- yosh
   |-- __init__.py
   |-- shell.py

yosh_project 為專案根目錄（你也可以把它簡單命名為 yosh）。

yosh 為包目錄，且 __init__.py 可以使它成為與包的目錄名字相同的包（如果你不用 Python 編寫的話，可以忽略它。）

shell.py 是我們主要的指令碼檔案。

步驟 1：Shell 迴圈

當啟動一個 shell，它會顯示一個命令提示符並等待你的命令輸入。在接收了輸入的命令並執行它之後（稍後文章會進行詳細解釋），你的 shell 會重新回到這裡，並迴圈等待下一條指令。

在 shell.py 中，我們會以一個簡單的 main 函式開始，該函式呼叫了 shell_loop() 函式，如下：

def shell_loop():
    # Start the loop here
def main():
    shell_loop()
if __name__ == "__main__":
    main()

接著，在 shell_loop() 中，為了指示迴圈是否繼續或停止，我們使用了一個狀態標誌。在迴圈的開始，我們的 shell 將顯示一個命令提示符，並等待讀取命令輸入。

import sys
SHELL_STATUS_RUN = 1
SHELL_STATUS_STOP = 0
def shell_loop():
    status = SHELL_STATUS_RUN
    while status == SHELL_STATUS_RUN:
        ### 顯示命令提示符
        sys.stdout.write('> ')
        sys.stdout.flush()
        ### 讀取命令輸入
        cmd = sys.stdin.readline()

之後，我們切分命令（tokenize）輸入並進行執行（execute）（我們即將實現 tokenize 和 execute 函式）。

因此，我們的 shell_loop() 會是如下這樣：

import sys
SHELL_STATUS_RUN = 1
SHELL_STATUS_STOP = 0
def shell_loop():
    status = SHELL_STATUS_RUN
    while status == SHELL_STATUS_RUN:
        ### 顯示命令提示符
        sys.stdout.write('> ')
        sys.stdout.flush()
        ### 讀取命令輸入
        cmd = sys.stdin.readline()
        ### 切分命令輸入
        cmd_tokens = tokenize(cmd)
        ### 執行該命令並獲取新的狀態
        status = execute(cmd_tokens)

這就是我們整個 shell 迴圈。如果我們使用 python shell.py 啟動我們的 shell，它會顯示命令提示符。然而如果我們輸入命令並按回車，它會丟擲錯誤，因為我們還沒定義 tokenize 函式。

為了退出 shell，可以嘗試輸入 ctrl-c。稍後我將解釋如何以優雅的形式退出 shell。

步驟 2：命令切分tokenize

當使用者在我們的 shell 中輸入命令並按下Enter鍵，該命令將會是一個包含命令名稱及其引數的長字串。因此，我們必須切分該字串（分割一個字串為多個元組）。

咋一看似乎很簡單。我們或許可以使用 cmd.split()，以空格分割輸入。它對類似 ls -a my_folder 的命令起作用，因為它能夠將命令分割為一個列表 ['ls', '-a', 'my_folder']，這樣我們便能輕易處理它們了。

然而，也有一些類似 echo "Hello World" 或 echo 'Hello World' 以單引號或雙引號引用引數的情況。如果我們使用 cmd.spilt，我們將會得到一個存有 3 個標記的列表 ['echo', '"Hello', 'World"'] 而不是 2 個標記的列表 ['echo', 'Hello World']。

幸運的是，Python 提供了一個名為 shlex 的庫，它能夠幫助我們如魔法般地分割命令。（提示：我們也可以使用正規表示式，但它不是本文的重點。）

import sys
import shlex
...
def tokenize(string):
    return shlex.split(string)
...

然後我們將這些元組傳送到執行程式。

步驟 3：執行

這是 shell 中核心而有趣的一部分。當 shell 執行 mkdir test_dir 時，到底發生了什麼？（提示： mkdir 是一個帶有test_dir 引數的執行程式，用於建立一個名為 test_dir 的目錄。）

execvp 是這一步的首先需要的函式。在我們解釋 execvp 所做的事之前，讓我們看看它的實際效果。

import os
...
def execute(cmd_tokens):
    ### 執行命令
    os.execvp(cmd_tokens[0], cmd_tokens)
    ### 返回狀態以告知在 shell_loop 中等待下一個命令
    return SHELL_STATUS_RUN
...

再次嘗試執行我們的 shell，並輸入 mkdir test_dir 命令，接著按下Enter鍵。

在我們敲下Enter鍵之後，問題是我們的 shell 會直接退出而不是等待下一個命令。然而，目錄正確地建立了。

因此，execvp 實際上做了什麼？

execvp 是系統呼叫 exec 的一個變體。第一個引數是程式名字。v 表示第二個引數是一個程式引數列表（引數數量可變）。p 表示將會使用環境變數 PATH 搜尋給定的程式名字。在我們上一次的嘗試中，它將會基於我們的 PATH 環境變數查詢mkdir 程式。

（還有其他 exec 變體，比如 execv、execvpe、execl、execlp、execlpe；你可以 google 它們獲取更多的資訊。）

exec 會用即將執行的新程式替換呼叫程式的當前記憶體。在我們的例子中，我們的 shell 程式記憶體會被替換為 mkdir 程式。接著，mkdir 成為主程式並建立 test_dir 目錄。最後該程式退出。

這裡的重點在於我們的 shell 程式已經被 mkdir 程式所替換。這就是我們的 shell 消失且不會等待下一條命令的原因。

因此，我們需要其他的系統呼叫來解決問題：fork。

fork 會分配新的記憶體並拷貝當前程式到一個新的程式。我們稱這個新的程式為子程式，呼叫者程式為父程式。然後，子程式記憶體會被替換為被執行的程式。因此，我們的 shell，也就是父程式，可以免受記憶體替換的危險。

讓我們看看修改的程式碼。

...
def execute(cmd_tokens):
    ### 分叉一個子 shell 程式
    ### 如果當前程式是子程式，其 `pid` 被設定為 `0`
    ### 否則當前程式是父程式的話，`pid` 的值
    ### 是其子程式的程式 ID。
    pid = os.fork()
    if pid == 0:
    ### 子程式
        ### 用被 exec 呼叫的程式替換該子程式
        os.execvp(cmd_tokens[0], cmd_tokens)
    elif pid > 0:
    ### 父程式
        while True:
            ### 等待其子程式的響應狀態（以程式 ID 來查詢）
            wpid, status = os.waitpid(pid, 0)
            ### 當其子程式正常退出時
            ### 或者其被訊號中斷時，結束等待狀態
            if os.WIFEXITED(status) or os.WIFSIGNALED(status):
                break
    ### 返回狀態以告知在 shell_loop 中等待下一個命令
    return SHELL_STATUS_RUN
...

當我們的父程式呼叫 os.fork() 時，你可以想象所有的原始碼被拷貝到了新的子程式。此時此刻，父程式和子程式看到的是相同的程式碼，且並行執行著。

如果執行的程式碼屬於子程式，pid 將為 0。否則，如果執行的程式碼屬於父程式，pid 將會是子程式的程式 id。

當 os.execvp 在子程式中被呼叫時，你可以想象子程式的所有原始碼被替換為正被呼叫程式的程式碼。然而父程式的程式碼不會被改變。

當父程式完成等待子程式退出或終止時，它會返回一個狀態，指示繼續 shell 迴圈。

執行

現在，你可以嘗試執行我們的 shell 並輸入 mkdir test_dir2。它應該可以正確執行。我們的主 shell 程式仍然存在並等待下一條命令。嘗試執行 ls，你可以看到已建立的目錄。

但是，這裡仍有一些問題。

第一，嘗試執行 cd test_dir2，接著執行 ls。它應該會進入到一個空的 test_dir2 目錄。然而，你將會看到目錄並沒有變為 test_dir2。

第二，我們仍然沒有辦法優雅地退出我們的 shell。

我們將會在下篇解決諸如此類的問題。