Python多執行緒併發的簡單測試

之前也寫了一些簡單的Python程式，對於多執行緒的併發一直沒有涉及，今天決定先突破一下，把這個部分的內容先快速的掌握，然後在這個基礎上細化改進。

我的好友冰川擅長Python技術，所以就拿來主義，參考了他的文章。

python基礎16-併發程式設計（1）

Python的程式效能一直受到詬病，但是功能，擴充套件性上還是具有很大的優勢，程式中有一部分的概念就是併發，多執行緒相關的，所以我們也算是大躍進一下。

說到Python的效能，GIL是需要了解的，這是一個全域性直譯器鎖，保證在同一時刻只有一個執行緒在執行，在保證執行緒安全的同時，效能上會受到一定的影響。我們簡單來做一個案例，在上面的文章中已經有了，我們簡單改一下。測試一把。

首先要準備一個檔案urls.txt

比如我的技術部落格，我隨便選擇了兩篇文章的下標，然後就可以迴圈生成一大批的urls.txt內容來。

for i in {2101076..2148323}

do

echo "http://blog.itpub.net/23718752/viewspace-"$i

done

要測試url的資訊，我們需要引入一個模組requests,透過傳送請求來得到反饋的結果，如果是在200,300這樣的狀態值，就說明是可訪問的，否則就是不可方案問。

需要注意的地方或者是一些小技巧，我們可以使用strip()來得到一個串

>>> "".strip()

''

，然後使用requests.get方法來得到結果值

>>> requests.get('')

<Response [200]>

最終的狀態值可以使用status_code屬性來得到。

>>> requests.get('').status_code

200

明白了這些要點，Python程式就會容易很多。

直接附上源程式：

#!/usr/bin/evn python

import requests

import time

def get_site_code(url):

r = requests.get(url)

status = r.status_code

line = url + ' ' + str(status)

with open('/tmp/site_stauts.txt', 'a+') as f:

f.writelines(line + 'n')

if __name__ == '__main__':

print 'starting at:', time.ctime()

for url in open('urls.txt'):

url = url.strip()

get_site_code(url)

print 'Done at:', time.ctime()

整個過程，大概耗時37秒鐘,urls大概是30多個。

# python a.pl

starting at: Wed Dec 6 07:00:34 2017

Done at: Wed Dec 6 07:01:11 2017

我們再來看看多執行緒的部分，毫無疑問，我們需要一個執行緒相關的模組，在這裡就是threading

我們可以直接開啟多個執行緒，不做執行緒的粒度控制，比如現在有30個請求，直接就是30個執行緒，暫時沒有做成執行緒池的那種模式，初始化的時候，可以使用如下的方式來初始化執行緒。

threading.Thread(target=get_site_code, args=(url,))

使用start方法啟動執行緒

threads[i].start()

如果一個執行緒在執行過程中要呼叫另外一個執行緒，需要等到它完成以後才能接著執行，在這裡就是join方法。

threads[i].join()

源程式如下：

#!/usr/bin/evn python

import requests

import time

import threading

def get_site_code(url):

r = requests.get(url)

status = r.status_code

line = url + ' ' + str(status)

with open('/tmp/site_stauts.txt', 'a+') as f:

f.writelines(line + 'n')

if __name__ == '__main__':

print 'starting at:', time.ctime()

threads = []

for url in open('urls.txt'):

url = url.strip()

t = threading.Thread(target=get_site_code, args=(url,))

threads.append(t)

for i in range(len(threads)):

threads[i].start()

for i in range(len(threads)):

threads[i].join()

print 'Done at:', time.ctime()

使用了多執行緒之後，耗時大概是3秒鐘，提高了10多倍，收益還是很大的。

# python b.pl

starting at: Wed Dec 6 07:24:36 2017

Done at: Wed Dec 6 07:24:39 2017

隨後會考慮從其他的角度來持續的改進，改進的空間依舊很大。