Twisted 入門 教程

 

From：https://www.cnblogs.com/tomato0906/articles/4678995.html

Twisted 與 非同步程式設計入門 系列：http://krondo.com/an-introduction-to-asynchronous-programming-and-twisted
stulife 新浪部落格 Twisted入門 系列教程：http://blog.sina.com.cn/s/blog_704b6af70100py9n.html

Twisted 文件、例子、API：https://twistedmatrix.com/trac/wiki/Documentation
Twisted Documentation：https://twistedmatrix.com/documents/10.0.0/core/howto/index.html

Python Twisted 框架中 socket通訊：http://www.cnblogs.com/sevenyuan/archive/2010/11/18/1880681.html
python 網路框架twisted基礎學習及詳細講解：https://blog.csdn.net/nginxs/article/details/77197505

 

Python 高效開發實戰 Django Tornado Flask Twisted 中文高清完整版 PDF：
https://download.csdn.net/download/freeking101/10962947​​​​​​​​​​​​​​

 

 學校一個專案中使用Twisted，學習過程中，看到Dave寫的這個系列，使我耳目一新。看完一遍後，很想把這個系列和眾多Python愛好者分享，於是將這個系列翻譯出來的想法就冒出來了。時間緊張，能採用意譯的就採用意譯了，但儘量不影響理解就是了，如果有錯誤之處，請指正，防止更多的朋友產生錯誤的理解。

    我想不出意外的話，會一天一個部分。下面是系列的目錄（每譯完一個部分，都會新增一個目錄索引），原文的連結地址都分別放在每個部分的裡面了。

    1.Twisted理論基礎

    2.非同步程式設計初探與reactor模式

    3.初次認識Twisted

    4.由twisted支援的客戶端

    5.由Twisted扶持的客戶端

    6.更加“抽象”運用Twisted

    7.小插曲，Deferred

    8.使用Deferred的詩歌下載客戶端

    9.第二個小插曲，deferred

    10.增強defer功能的客戶端

    11.改進詩歌下載伺服器

    12.改進詩歌下載伺服器

    13.使用Deferred新功能實現新客戶端

    14.Deferred用於同步環境

    15.後面章節由luocheng完成，連結地址為：https://github.com/luocheng/twisted-intro-cn

 

 

 

第一部分：Twisted理論基礎

  (2011-03-13 14:09:47)

轉載▼

標籤：  twisted

分類： python學習

作者:dave@http://krondo.com/?p=1209譯者:楊曉偉(採用意譯)

 

前言:

最近有人在Twisted郵件列表中提出諸如”為任務緊急的人提供一份Twisted介紹”的的需求。值得提前透露的是，這個序列並不會如他們所願.尤其是介紹Twisted框架和基於Python 的非同步程式設計而言，可能短時間無法講清楚。因此,如果你時間緊急，這恐怕不是你想找的資料。

 

我相信如果對非同步程式設計模型一無所知，快速的介紹同樣無法讓你對其有所理解，至少你得稍微懂點基礎知識吧。我已經用Twisted框架幾年了，因此思考過我當初是怎麼學習它(學得很慢)並發現學習它的最大難度並不在Twisted本身,而在於對其模型的理解，只有理解了這個模型，你才能更好去寫和理解非同步程式的程式碼。大部分Twisted的程式碼寫得很清晰，其線上文件也非常棒（至少在開源軟體這個層次上可以這麼說）。但如果不理解這個模型，不管是讀Twisted原始碼還是使用Twisted的程式碼更或者是相關文件，你都會感到非常的傷腦筋。

 

因此，我會用前面幾個部分來介紹這個模型以讓你掌握它的機制，稍後會介紹一下Twisted的特點。實際上，一開始，我們並不會使用Twisted，相反，會使用簡單的Python來說明一個非同步模型是如何工作的。我們在初次學習Twisted的時，會從你平常都不會直接使用的底層的實現講起。Twisted是一個高度抽象的體系，因此在使用它時，你會體會到其多層次性。但當你去學習尤其是嘗試著理解它是如何工作時，這種為抽像而帶來的多層次性會給你帶來極大的理解難度。所以，我們準備來個從內到外，從低層開始學習它。

 

模型：

為了更好的理解非同步程式設計模型的特點，我們來回顧一下兩個大家都熟悉的模型。在闡述過程中，我們假設一個包含三個相互獨立任務的程式。在此，除了規定這些任務都要完成自己工作外，我們先不作具體的解釋，後面我們會慢慢具體瞭解它們。請注意：在此我用“任務”這個詞，這意味著它需要完成一些事情。

 

第一個模型是單執行緒的同步模型，如圖1所示：

圖1 同步模型

這是最簡單的程式設計方式。在一個時刻，只能有一個任務在執行，並且前一個任務結束後一個任務才能開始。如果任務都能按照事先規定好的順序執行，最後一個任務的完成意味著前面所有的任務都已無任何差錯地完成並輸出其可用的結果—這是多麼簡單的邏輯。

下面我們來呈現第二個模型，如圖2所示：

圖2 執行緒模型

在這個模型中，每個任務都在單獨的執行緒中完成。這些執行緒都是由作業系統來管理，若在多處理機、多核處理機的系統中可能會相互獨立的執行，若在單處理機上，則會交錯執行。關鍵點在於，線上程模式中，具體哪個任務執行由作業系統來處理。但程式設計人員則只需簡單地認為：它們的指令流是相互獨立且可以並行執行。雖然，從圖示看起來很簡單，實際上多執行緒程式設計是很麻煩的，你想啊，任務之間的要通訊就要是執行緒之間的通訊。執行緒間的通訊那不是一般的複雜。什麼郵箱、通道、共享記憶體、、、 唉：（

一些程式用多處理機而不是多執行緒來實現並行運算。雖然具體的程式設計細節是不同的，但對於我們要研究的模型來說是一樣的。

下面我們來介紹一下非同步程式設計模型，如圖3所示

圖3 非同步模型

在這個模型中，任務是交錯完成，值得注意的是：這是在單執行緒的控制下。這要比多執行緒模型簡單多了，因為程式設計人員總可以認為只有一個任務在執行，而其它的在停止狀態。雖然在單處理機系統中，執行緒也是像圖3那樣交替進行。但作為程式設計師在使用多執行緒時，仍然需要使用圖2而不是圖3的來思考問題，以防止程式在挪到多處理機的系統上無法正常執行（考慮到相容性）。間單執行緒的非同步程式不管是在單處理機還是在多處理機上都 能很好的執行。

 

在非同步程式設計模型與多執行緒模型之間還有一個不同：在多執行緒程式中，對於停止某個執行緒啟動另外一個執行緒，其決定權並不在程式設計師手裡而在作業系統那裡，因此，程式設計師在編寫程式過程中必須要假設在任何時候一個執行緒都有可能被停止而啟動另外一個執行緒。相反，在非同步模型中，一個任務要想執行必須顯式放棄當前執行的任務的控制權。這也是相比多執行緒模型來說，最簡潔的地方。

值得注意的是：將非同步程式設計模型與同步模型混合在同一個系統中是可以的。但在介紹中的絕大多數時候，我們只研究在單個執行緒中的非同步程式設計模型。

 

動機

我們已經看到非同步程式設計模型之所以比多執行緒模型簡單在於其單令流與顯式地放棄對任務的控制權而不是被作業系統隨機地停止。但是非同步模型要比同步模型複雜得多。程式設計師必須將任務組織成序列來交替的小步完成。因此，若其中一個任務用到另外一個任務的輸出，則依賴的任務（即接收輸出的任務）需要被設計成為要接收系列位元或分片而不是一下全部接收。由於沒有實質上的並行，從我們的圖中可以看出，一個非同步程式會花費一個同步程式所需要的時間，可能會由於非同步程式的效能問題而花費更長的時間。

 

因此，就要問了，為什麼還要使用非同步模型呢？ 在這兒，我們至少有兩個原因。首先，如果有一到兩個任務需要完成面向人的介面，如果交替執行這些任務，系統在保持對使用者響應的同時在後臺執行其它的任務。因此，雖然後臺的任務可能不會執行的更快，但這樣的系統可能會歡迎的多。

然而，有一種情況下，非同步模型的效能會高於同步模型，有時甚至會非常突出，即在比較短的時間內完成所有的任務。這種情況就是任務被強行等待或阻塞，如圖4所示：

圖4 同步模型中出現阻塞

在圖4中，灰色的部分代表這段時間某個任務被阻塞。為什麼要阻塞一個任務呢？最直接的原因就是等待I/O的完成：傳輸資料或來自某個外部裝置。一個典型的CPU處理資料的能力是硬碟或網路的幾個數量級的倍數。因此，一個需要進行大I/O操作的同步程式需要花費大量的時間等待硬碟或網路將資料準備好。正是由於這個原因，同步程式也被稱作為阻塞程式。

從圖4中可以看出，一個可阻塞的程式，看起來與圖3描述的非同步程式有點像。這不是個巧合。非同步程式背後的最主要的特點就在於，當出現一個任務像在同步程式一樣出現阻塞時，會讓其它可以執行的任務繼續執行，而不會像同步程式中那樣全部阻塞掉。因此一個非同步程式只有在沒有任務可執行時才會出現“阻塞”，這也是為什麼非同步程式被稱為非阻塞程式的原因。

任務之間的切換要不是此任務完成，要不就是它被阻塞。由於大量任務可能會被阻塞，非同步程式等待的時間少於同步程式而將這些時間用於其它實時工作的處理（如與人打交道的介面），這樣一來，前者的效能必然要高很多。

與同步模型相比，非同步模型的優勢在如下情況下會得到發揮：

1.有大量的任務，因此在一個時刻至少有一個任務要執行

2.任務執行大量的I/O操作，這樣同步模型就會在因為任務阻塞而浪費大量的時間

3.任務之間相互獨立，以至於任務內部的互動很少。

 

這些條件大多在CS模式中的網路比較繁忙伺服器端出現（如WEB伺服器）。每個任務代表一個客戶端進行接收請求並回復的I/O操作。客戶的請求（相當於讀操作）都是相互獨立的。因此一個網路服務是非同步模型的典型代表，這也是為什麼twisted是第一個也是最棒的網路庫。