我們將會看到一些在Python中使用執行緒的例項和如何避免執行緒之間的競爭。
你應當將下邊的例子執行多次,以便可以注意到執行緒是不可預測的和執行緒每次執行出的不同結果。
宣告:從這裡開始忘掉你聽到過的關於GIL的東西,因為GIL不會影響到我想要展示的東西。
示例1:
我們將要請求五個不同的url:
單執行緒
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
import time import urllib2 def get_responses(): urls = [ 'http://www.google.com', 'http://www.amazon.com', 'http://www.ebay.com', 'http://www.alibaba.com', 'http://www.reddit.com' ] start = time.time() for url in urls: print url resp = urllib2.urlopen(url) print resp.getcode() print "Elapsed time: %s" % (time.time()-start) get_responses() |
輸出是:
1 2 3 4 5 6 |
http://www.google.com 200 http://www.amazon.com 200 http://www.ebay.com 200 http://www.alibaba.com 200 http://www.reddit.com 200 Elapsed time: 3.0814409256 |
解釋:
- url順序的被請求
- 除非cpu從一個url獲得了回應,否則不會去請求下一個url
- 網路請求會花費較長的時間,所以cpu在等待網路請求的返回時間內一直處於閒置狀態。
多執行緒
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
import urllib2 import time from threading import Thread class GetUrlThread(Thread): def __init__(self, url): self.url = url super(GetUrlThread, self).__init__() def run(self): resp = urllib2.urlopen(self.url) print self.url, resp.getcode() def get_responses(): urls = [ 'http://www.google.com', 'http://www.amazon.com', 'http://www.ebay.com', 'http://www.alibaba.com', 'http://www.reddit.com' ] start = time.time() threads = [] for url in urls: t = GetUrlThread(url) threads.append(t) t.start() for t in threads: t.join() print "Elapsed time: %s" % (time.time()-start) get_responses() |
輸出:
1 2 3 4 5 6 |
http://www.reddit.com 200 http://www.google.com 200 http://www.amazon.com 200 http://www.alibaba.com 200 http://www.ebay.com 200 Elapsed time: 0.689890861511 |
解釋:
- 意識到了程式在執行時間上的提升
- 我們寫了一個多執行緒程式來減少cpu的等待時間,當我們在等待一個執行緒內的網路請求返回時,這時cpu可以切換到其他執行緒去進行其他執行緒內的網路請求。
- 我們期望一個執行緒處理一個url,所以例項化執行緒類的時候我們傳了一個url。
- 執行緒執行意味著執行類裡的
run()
方法。 - 無論如何我們想每個執行緒必須執行
run()
。 - 為每個url建立一個執行緒並且呼叫
start()
方法,這告訴了cpu可以執行執行緒中的run()
方法了。 - 我們希望所有的執行緒執行完畢的時候再計算花費的時間,所以呼叫了
join()
方法。 join()
可以通知主執行緒等待這個執行緒結束後,才可以執行下一條指令。- 每個執行緒我們都呼叫了
join()
方法,所以我們是在所有執行緒執行完畢後計算的執行時間。
關於執行緒:
- cpu可能不會在呼叫
start()
後馬上執行run()
方法。 - 你不能確定
run()
在不同執行緒建間的執行順序。 - 對於單獨的一個執行緒,可以保證
run()
方法裡的語句是按照順序執行的。 - 這就是因為執行緒內的url會首先被請求,然後列印出返回的結果。
例項2
我們將會用一個程式演示一下多執行緒間的資源競爭,並修復這個問題。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 |
from threading import Thread #define a global variable some_var = 0 class IncrementThread(Thread): def run(self): #we want to read a global variable #and then increment it global some_var read_value = some_var print "some_var in %s is %d" % (self.name, read_value) some_var = read_value + 1 print "some_var in %s after increment is %d" % (self.name, some_var) def use_increment_thread(): threads = [] for i in range(50): t = IncrementThread() threads.append(t) t.start() for t in threads: t.join() print "After 50 modifications, some_var should have become 50" print "After 50 modifications, some_var is %d" % (some_var,) use_increment_thread() |
多次執行這個程式,你會看到多種不同的結果。
解釋:
- 有一個全域性變數,所有的執行緒都想修改它。
- 所有的執行緒應該在這個全域性變數上加 1 。
- 有50個執行緒,最後這個數值應該變成50,但是它卻沒有。
為什麼沒有達到50?
- 在
some_var
是15
的時候,執行緒t1
讀取了some_var
,這個時刻cpu將控制權給了另一個執行緒t2
。 t2
執行緒讀到的some_var
也是15
t1
和t2
都把some_var
加到16
- 當時我們期望的是
t1
t2
兩個執行緒使some_var + 2
變成17
- 在這裡就有了資源競爭。
- 相同的情況也可能發生在其它的執行緒間,所以出現了最後的結果小於
50
的情況。
解決資源競爭
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 |
from threading import Lock, Thread lock = Lock() some_var = 0 class IncrementThread(Thread): def run(self): #we want to read a global variable #and then increment it global some_var lock.acquire() read_value = some_var print "some_var in %s is %d" % (self.name, read_value) some_var = read_value + 1 print "some_var in %s after increment is %d" % (self.name, some_var) lock.release() def use_increment_thread(): threads = [] for i in range(50): t = IncrementThread() threads.append(t) t.start() for t in threads: t.join() print "After 50 modifications, some_var should have become 50" print "After 50 modifications, some_var is %d" % (some_var,) use_increment_thread() |
再次執行這個程式,達到了我們預期的結果。
解釋:
- Lock 用來防止競爭條件
- 如果在執行一些操作之前,執行緒
t1
獲得了鎖。其他的執行緒在t1
釋放Lock之前,不會執行相同的操作 - 我們想要確定的是一旦執行緒
t1
已經讀取了some_var
,直到t1
完成了修改some_var
,其他的執行緒才可以讀取some_var
- 這樣讀取和修改
some_var
成了邏輯上的原子操作。
例項3
讓我們用一個例子來證明一個執行緒不能影響其他執行緒內的變數(非全域性變數)。
time.sleep()可以使一個執行緒掛起,強制執行緒切換髮生。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
from threading import Thread import time class CreateListThread(Thread): def run(self): self.entries = [] for i in range(10): time.sleep(1) self.entries.append(i) print self.entries def use_create_list_thread(): for i in range(3): t = CreateListThread() t.start() use_create_list_thread() |
執行幾次後發現並沒有列印出爭取的結果。當一個執行緒正在列印的時候,cpu切換到了另一個執行緒,所以產生了不正確的結果。我們需要確保print self.entries
是個邏輯上的原子操作,以防列印時被其他執行緒打斷。
我們使用了Lock(),來看下邊的例子。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
from threading import Thread, Lock import time lock = Lock() class CreateListThread(Thread): def run(self): self.entries = [] for i in range(10): time.sleep(1) self.entries.append(i) lock.acquire() print self.entries lock.release() def use_create_list_thread(): for i in range(3): t = CreateListThread() t.start() use_create_list_thread() |
這次我們看到了正確的結果。證明了一個執行緒不可以修改其他執行緒內部的變數(非全域性變數)