自己動手開發一個 Web 伺服器（二）

在《自己動手開發一個 Web 伺服器（一）》中，我給大家留了一個問題：如何在不對伺服器程式碼作任何修改的情況下，通過該伺服器執行Djando應用、Flask應用和Pyramid應用，同時滿足這些不同網路框架的要求？讀完這篇文章，你就可以回答這個問題了。

以前，你選擇的Python網路框架將會限制所能夠使用的 Web 伺服器，反之亦然。如果框架和伺服器在設計時就是可以相互匹配的，那你就不會面臨這個問題：

但是如果你試圖將設計不相匹配的伺服器與框架相結合，那麼你肯定就會碰到下面這張圖所展示的這個問題：

這就意味著，你基本上只能使用能夠正常執行的伺服器與框架組合，而不能選擇你希望使用的伺服器或框架。

那麼，你怎樣確保可以在不修改 Web 伺服器程式碼或網路框架程式碼的前提下，使用自己選擇的伺服器，並且匹配多個不同的網路框架呢？為了解決這個問題，就出現了PythonWeb 伺服器閘道器介面（Web Server Gateway Interface，WSGI）。

WSGI的出現，讓開發者可以將網路框架與 Web 伺服器的選擇分隔開來，不再相互限制。現在，你可以真正地將不同的 Web 伺服器與網路開發框架進行混合搭配，選擇滿足自己需求的組合。例如，你可以使用Gunicorn或Nginx/uWSGI或Waitress伺服器來執行Django、Flask或Pyramid應用。正是由於伺服器和框架均支援WSGI，才真正得以實現二者之間的自由混合搭配。

所以，WSGI就是我在上一篇文章中所留問題的答案。你的 Web 伺服器必須實現一個伺服器端的WSGI介面，而目前所有現代Python網路框架都已經實現了框架端的WSGI介面，這樣開發者不需要修改伺服器的程式碼，就可以支援某個網路框架。

Web 伺服器和網路框架支援WSGI協議，不僅讓應用開發者選擇符合自己需求的組合，同時也有利於伺服器和框架的開發者，因為他們可以將注意力集中在自己擅長的領域，而不是相互傾軋。其他程式語言也擁有類似的介面：例如Java的Servlet API和Ruby的Rack。

口說無憑，我猜你肯定在想：“無程式碼無真相！”既然如此，我就在這裡給出一個非常簡單的WSGI伺服器實現：

# Tested with Python 2.7.9, Linux & Mac OS X
import socket
import StringIO
import sys

class WSGIServer(object):

    address_family = socket.AF_INET
    socket_type = socket.SOCK_STREAM
    request_queue_size = 1

    def __init__(self, server_address):
        # Create a listening socket
        self.listen_socket = listen_socket = socket.socket(
            self.address_family,
            self.socket_type
        )
        # Allow to reuse the same address
        listen_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
        # Bind
        listen_socket.bind(server_address)
        # Activate
        listen_socket.listen(self.request_queue_size)
        # Get server host name and port
        host, port = self.listen_socket.getsockname()[:2]
        self.server_name = socket.getfqdn(host)
        self.server_port = port
        # Return headers set by Web framework/Web application
        self.headers_set = []

    def set_app(self, application):
        self.application = application

    def serve_forever(self):
        listen_socket = self.listen_socket
        while True:
            # New client connection
            self.client_connection, client_address = listen_socket.accept()
            # Handle one request and close the client connection. Then
            # loop over to wait for another client connection
            self.handle_one_request()

    def handle_one_request(self):
        self.request_data = request_data = self.client_connection.recv(1024)
        # Print formatted request data a la 'curl -v'
        print(''.join(
            '< {line}/n'.format(line=line)
            for line in request_data.splitlines()
        ))

        self.parse_request(request_data)

        # Construct environment dictionary using request data
        env = self.get_environ()

        # It's time to call our application callable and get
        # back a result that will become HTTP response body
        result = self.application(env, self.start_response)

        # Construct a response and send it back to the client
        self.finish_response(result)

    def parse_request(self, text):
        request_line = text.splitlines()[0]
        request_line = request_line.rstrip('/r/n')
        # Break down the request line into components
        (self.request_method,  # GET
         self.path,            # /hello
         self.request_version  # HTTP/1.1
         ) = request_line.split()

    def get_environ(self):
        env = {}
        # The following code snippet does not follow PEP8 conventions
        # but it's formatted the way it is for demonstration purposes
        # to emphasize the required variables and their values
        #
        # Required WSGI variables
        env['wsgi.version']      = (1, 0)
        env['wsgi.url_scheme']   = 'http'
        env['wsgi.input']        = StringIO.StringIO(self.request_data)
        env['wsgi.errors']       = sys.stderr
        env['wsgi.multithread']  = False
        env['wsgi.multiprocess'] = False
        env['wsgi.run_once']     = False
        # Required CGI variables
        env['REQUEST_METHOD']    = self.request_method    # GET
        env['PATH_INFO']         = self.path              # /hello
        env['SERVER_NAME']       = self.server_name       # localhost
        env['SERVER_PORT']       = str(self.server_port)  # 8888
        return env

    def start_response(self, status, response_headers, exc_info=None):
        # Add necessary server headers
        server_headers = [
            ('Date', 'Tue, 31 Mar 2015 12:54:48 GMT'),
            ('Server', 'WSGIServer 0.2'),
        ]
        self.headers_set = [status, response_headers + server_headers]
        # To adhere to WSGI specification the start_response must return
        # a 'write' callable. We simplicity's sake we'll ignore that detail
        # for now.
        # return self.finish_response

    def finish_response(self, result):
        try:
            status, response_headers = self.headers_set
            response = 'HTTP/1.1 {status}/r/n'.format(status=status)
            for header in response_headers:
                response += '{0}: {1}/r/n'.format(*header)
            response += '/r/n'
            for data in result:
                response += data
            # Print formatted response data a la 'curl -v'
            print(''.join(
                '> {line}/n'.format(line=line)
                for line in response.splitlines()
            ))
            self.client_connection.sendall(response)
        finally:
            self.client_connection.close()

SERVER_ADDRESS = (HOST, PORT) = '', 8888

def make_server(server_address, application):
    server = WSGIServer(server_address)
    server.set_app(application)
    return server

if __name__ == '__main__':
    if len(sys.argv) < 2:
        sys.exit('Provide a WSGI application object as module:callable')
    app_path = sys.argv[1]
    module, application = app_path.split(':')
    module = __import__(module)
    application = getattr(module, application)
    httpd = make_server(SERVER_ADDRESS, application)
    print('WSGIServer: Serving HTTP on port {port} .../n'.format(port=PORT))
    httpd.serve_forever()

上面的程式碼比第一部分的伺服器實現程式碼要長的多，但是這些程式碼實際也不算太長，只有不到150行，大家理解起來並不會太困難。上面這個伺服器的功能也更多——它可以執行你使用自己喜歡的框架所寫出來的網路應用，無論你選擇Pyramid、Flask、Django或是其他支援WSGI協議的框架。

你不信？你可以自己測試一下，看看結果如何。將上述程式碼儲存為webserver2.py，或者直接從我的Github倉庫下載。如果你執行該檔案時沒有提供任何引數，那麼程式就會報錯並退出。

$ python webserver2.py
Provide a WSGI application object as module:callable

上述程式設計的目的，就是執行你開發的網路應用，但是你還需要滿足一些它的要求。要執行伺服器，你只需要安裝Python即可。但是要執行使用Pyramid、Flask和Django等框架開發的網路應用，你還需要先安裝這些框架。我們接下來安裝這三種框架。我傾向於使用virtualenv安裝。請按照下面的提示建立並啟用一個虛擬環境，然後安裝這三個網路框架。

$ [sudo] pip install virtualenv
$ mkdir ~/envs
$ virtualenv ~/envs/lsbaws/
$ cd ~/envs/lsbaws/
$ ls
bin  include  lib
$ source bin/activate
(lsbaws) $ pip install pyramid
(lsbaws) $ pip install flask
(lsbaws) $ pip install django

接下來，你需要建立一個網路應用。我們首先建立Pyramid應用。將下面的程式碼儲存為pyramidapp.py檔案，放至webserver2.py所在的資料夾中，或者直接從我的Github倉庫下載該檔案：

from pyramid.config import Configurator
from pyramid.response import Response

def hello_world(request):
    return Response(
        'Hello world from Pyramid!/n',
        content_type='text/plain',
    )

config = Configurator()
config.add_route('hello', '/hello')
config.add_view(hello_world, route_name='hello')
app = config.make_wsgi_app()

現在，你可以通過自己開發的 Web 伺服器來啟動上面的Pyramid應用。

(lsbaws) $ python webserver2.py pyramidapp:app
WSGIServer: Serving HTTP on port 8888 ...

在執行webserver2.py時，你告訴自己的伺服器去載入pyramidapp模組中的app可呼叫物件（callable）。你的伺服器現在可以接收HTTP請求，並將請求中轉至你的Pyramid應用。應用目前只能處理一個路由（route）：/hello。在瀏覽器的位址列輸入http://localhost:8888/hello，按下Enter鍵，觀察會出現什麼情況：

你還可以在命令列使用curl命令，來測試伺服器執行情況：

$ curl -v http://localhost:8888/hello
...

接下來我們建立Flask應用。重複上面的步驟。

from flask import Flask
from flask import Response
flask_app = Flask('flaskapp')

@flask_app.route('/hello')
def hello_world():
    return Response(
        'Hello world from Flask!/n',
        mimetype='text/plain'
    )

app = flask_app.wsgi_app

將上面的程式碼儲存為flaskapp.py，或者直接從我的Github倉庫下載檔案，並執行：

(lsbaws) $ python webserver2.py flaskapp:app
WSGIServer: Serving HTTP on port 8888 ...

然後在瀏覽器位址列輸入http://localhost:8888/hello，並按下回車：

同樣，在命令列使用curl命令，看看伺服器是否會返回Flask應用生成的資訊：

$ curl -v http://localhost:8888/hello
...

這個伺服器是不是也能支援Django應用？試一試就知道了！不過接下來的操作更為複雜一些，我建議大家克隆整個倉庫，並使用其中的djangoapp.py檔案。下面的程式碼將一個名叫helloworld的Django應用新增至當前的Python路徑中，然後匯入了該專案的WSGI應用。

import sys
sys.path.insert(0, './helloworld')
from helloworld import wsgi

app = wsgi.application

將上面的程式碼儲存為djangoapp.py，並使用你開發的伺服器執行這個Django應用。

(lsbaws) $ python webserver2.py djangoapp:app
WSGIServer: Serving HTTP on port 8888 ...

同樣，在瀏覽器中輸入http://localhost:8888/hello，並按下Enter鍵：

接下來，和前面幾次一樣，你通過命令列使用curl命令進行測試，確認了這個Djando應用成功處理了你發出的請求：

$ curl -v http://localhost:8888/hello
...

你有沒有按照上面的步驟測試？你做到了讓伺服器支援全部三種框架嗎？如果沒有，請儘量自己動手操作。閱讀程式碼很重要，但這系列文章的目的在於重新開發，而這意味著你需要自己親自動手。最好是你自己重新輸入所有的程式碼，並確保程式碼執行結果符合預期。

經過上面的介紹，你應該已經認識到了WSGI的強大之處：它可以讓你自由混合搭配 Web 伺服器和框架。WSGI為Python Web 伺服器與Python網路框架之間的互動提供了一個極簡的介面，而且非常容易在伺服器端和框架端實現。下面的程式碼段分別展示了伺服器端和框架端的WSGI介面：

def run_application(application):
    """Server code."""
    # This is where an application/framework stores
    # an HTTP status and HTTP response headers for the server
    # to transmit to the client
    headers_set = []
    # Environment dictionary with WSGI/CGI variables
    environ = {}

    def start_response(status, response_headers, exc_info=None):
        headers_set[:] = [status, response_headers]

    # Server invokes the ‘application' callable and gets back the
    # response body
    result = application(environ, start_response)
    # Server builds an HTTP response and transmits it to the client
    …

def app(environ, start_response):
    """A barebones WSGI app."""
    start_response('200 OK', [('Content-Type', 'text/plain')])
    return ['Hello world!']

run_application(app)

下面給大家解釋一下上述程式碼的工作原理：

1. 網路框架提供一個命名為application的可呼叫物件（WSGI協議並沒有指定如何實現這個物件）。
2. 伺服器每次從HTTP客戶端接收請求之後，呼叫application。它會向可呼叫物件傳遞一個名叫environ的字典作為引數，其中包含了WSGI/CGI的諸多變數，以及一個名為start_response的可呼叫物件。
3. 框架/應用生成HTTP狀態碼以及HTTP響應報頭（response headers），然後將二者傳遞至start_response，等待伺服器儲存。此外，框架/應用還將返回響應的正文。
4. 伺服器將狀態碼、響應報頭和響應正文組合成HTTP響應，並返回給客戶端（這一步並不屬於WSGI協議）。

下面這張圖直觀地說明了WSGI介面的情況：

有一點要提醒大家，當你使用上述框架開發網路應用的時候，你處理的是更高層級的邏輯，並不會直接處理WSGI協議相關的要求，但是我很清楚，既然你正在看這篇文章，你一定對框架端的WSGI介面很感興趣。所以，我們接下來在不使用Pyramid、Flask或Djando框架的前提下，自己開發一個極簡的WSGI網路應用/網路框架，並使用WSGI伺服器執行該應用：

def app(environ, start_response):
    """A barebones WSGI application.

    This is a starting point for your own Web framework  
    """
    status = '200 OK'
    response_headers = [('Content-Type', 'text/plain')]
    start_response(status, response_headers)
    return ['Hello world from a simple WSGI application!/n']

將上述程式碼儲存為wsgiapp.py檔案，或者直接從我的Github倉庫下載，然後利用 Web 伺服器執行該應用：

(lsbaws) $ python webserver2.py wsgiapp:app
WSGIServer: Serving HTTP on port 8888 ...

在瀏覽器中輸入下圖中的地址，然後按Enter鍵。結果應該是這樣的：

你剛剛自己編寫了一個極簡的WSGI網路框架！太不可思議了。

接下來，我們重新分析伺服器返回給客戶端的物件。下面這張圖展示的是你通過HTTP客戶端呼叫Pyramid應用後，伺服器生成的HTTP響應：

上圖中的響應與你在第一篇中看到的有些類似，但是也有明顯不同之處。舉個例子，其中就出現了你之前沒有看到過的4個HTTP報頭：Content-Type，Content-Length，Date和Server。這些事 Web 伺服器返回的響應物件通常都會包含的報頭。不過，這四個都不是必須的。報頭的目的是傳遞有關HTTP請求/響應的額外資訊。

既然你已經對WSGI介面有了更深的理解，下面這張圖對響應物件的內容進行了更詳細的解釋，說明了每條內容是如何產生的。

到目前為止，我還沒有介紹過environ字典的具體內容，但簡單來說，它是一個必須包含著WSGI協議所指定的某些WSGI和CGI變數。伺服器從HTTP請求中獲取字典所需的值。下面這張圖展示的是字典的詳細內容：

網路框架通過該字典提供的資訊，根據指定的路由和請求方法等引數來決定使用哪個檢視（views），從哪裡讀取請求正文，以及如何輸出錯誤資訊。

截至目前，你已經成功建立了自己的支援WSGI協議的 Web 伺服器，還利用不同的網路框架開發了多個網路應用。另外，你還自己開發了一個極簡的網路框架。本文介紹的內容不可謂不豐富。我們接下來回顧一下WSGI Web 伺服器如何處理HTTP請求：

• 首先，伺服器啟動並載入網路框架/應用提供的application可呼叫物件
• 然後，伺服器讀取一個請求資訊
• 然後，伺服器對請求進行解析
• 然後，伺服器使用請求資料建立一個名叫environ的字典
• 然後，伺服器以environ字典和start_response可呼叫物件作為引數，呼叫application，並獲得應用生成的響應正文。
• 然後，伺服器根據呼叫application物件後返回的資料，以及start_response設定的狀態碼和響應標頭，構建一個HTTP響應。
• 最後，伺服器將HTTP響應返回至客戶端。

以上就是第二部分的所有內容。你現在已經擁有了一個正常執行的WSGI伺服器，可以支援通過遵守WSGI協議的網路框架所寫的網路應用。最棒的是，這個伺服器可以不需要作任何程式碼修改，就可以與多個網路框架配合使用。

最後，我再給大家留一道思考題：怎樣讓伺服器一次處理多個請求？