本文首發自集智專欄
Python是一門非常適合處理資料和自動化完成重複性工作的程式語言，我們在用資料訓練機器學習模型之前，通常都需要對資料進行預處理，而Python就非常適合完成這項工作，比如需要重新調整幾十萬張影象的尺寸，用Python沒問題！你幾乎總是能找到一款可以輕鬆完成資料處理工作的Python庫。
然而，雖然Python易於學習，使用方便，但它並非執行速度最快的語言。預設情況下，Python程式使用一個CPU以單個程式執行。不過如果你是在最近幾年配置的電腦，通常都是四核處理器，也就是有4個CPU。這就意味著在你苦苦等待Python指令碼完成資料處理工作時，你的電腦其實有75%甚至更多的計算資源就在那閒著沒事幹！
今天我（作者Adam Geitgey——譯者注）就教大家怎樣通過並行執行Python函式，充分利用你的電腦的全部處理能力。得益於Python的 concurrent.futures 模組，我們只需3行程式碼，就能將一個普通資料處理指令碼變為能並行處理資料的指令碼，提速4倍。
普通Python處理資料方法
比方說，我們有一個全是影象資料的資料夾，想用Python為每張影象建立縮圖。
下面是一個短暫的指令碼，用Python的內建glob函式獲取資料夾中所有JPEG影象的列表，然後用Pillow影象處理庫為每張影象儲存大小為128畫素的縮圖：
import glob
import os
from PIL import Image
def make_image_thumbnail(filename):
# 縮圖會被命名為"<original_filename>_thumbnail.jpg"
base_filename, file_extension = os.path.splitext(filename)
thumbnail_filename = f"{base_filename}_thumbnail{file_extension}"
# 建立和儲存縮圖
image = Image.open(filename)
image.thumbnail(size=(128, 128))
image.save(thumbnail_filename, "JPEG")
return thumbnail_filename
# 迴圈資料夾中所有JPEG影象，為每張影象建立縮圖
for image_file in glob.glob("*.jpg"):
thumbnail_file = make_image_thumbnail(image_file)
print(f"A thumbnail for {image_file} was saved as {thumbnail_file}")
複製程式碼這段指令碼沿用了一個簡單的模式，你會在資料處理指令碼中經常見到這種方法：
- 首先獲得你想處理的檔案（或其它資料）的列表
- 寫一個輔助函式，能夠處理上述檔案的單個資料
- 使用for迴圈呼叫輔助函式，處理每一個單個資料，一次一個。
我們們用一個包含1000張JPEG影象的資料夾測試一下這段指令碼，看看執行完要花多長時間：
$ time python3 thumbnails_1.py
A thumbnail for 1430028941_4db9dedd10.jpg was saved as 1430028941_4db9dedd10_thumbnail.jpg
[... about 1000 more lines of output ...]
real 0m8.956s
user 0m7.086s
sys 0m0.743s
複製程式碼執行程式花了8.9秒，但是電腦的真實工作強度怎樣呢？
我們再執行一遍程式，看看程式執行時的活動監視器情況：
電腦有75%的處理資源處於閒置狀態！這是什麼情況？
這個問題的原因就是我的電腦有4個CPU，但Python只使用了一個。所以程式只是卯足了勁用其中一個CPU，另外3個卻無所事事。因此我需要一種方法能將工作量分成4個我能並行處理的單獨部分。幸運的是，Python中有個方法很容易能讓我們做到！
試試建立多程式
下面是一種可以讓我們並行處理資料的方法：
1.將JPEG檔案劃分為4小塊。
2.執行Python直譯器的4個單獨例項。
3.讓每個Python例項處理這4塊資料中的一塊。
4.將這4部分的處理結果合併，獲得結果的最終列表。
4個Python拷貝程式在4個單獨的CPU上執行，處理的工作量應該能比一個CPU大約高出4倍，對吧？
最妙的是，Python已經替我們做完了最麻煩的那部分工作。我們只需告訴它想執行哪個函式以及使用多少例項就行了，剩下的工作它會完成。整個過程我們只需要改動3行程式碼。
首先，我們需要匯入concurrent.futures庫，這個庫就內建在Python中：
import concurrent.futures
複製程式碼接著，我們需要告訴Python啟動4個額外的Python例項。我們通過讓Python建立一個Process Pool來完成這一步：
with concurrent.futures.ProcessPoolExecutor() as executor:
複製程式碼預設情況下，它會為你電腦上的每個CPU建立一個Python程式，所以如果你有4個CPU，就會啟動4個Python程式。
最後一步是讓建立的Process Pool用這4個程式在資料列表上執行我們的輔助函式。完成這一步，我們要將已有的for迴圈：
for image_file in glob.glob("*.jpg"):
thumbnail_file = make_image_thumbnail(image_file)
複製程式碼替換為新的呼叫executor.map():
image_files = glob.glob("*.jpg")
for image_file, thumbnail_file in zip(image_files, executor.map(make_image_thumbnail, image_files)):
複製程式碼該executor.map()函式呼叫時需要輸入輔助函式和待處理的資料列表。這個函式能幫我完成所有麻煩的工作，包括將列表分為多個子列表、將子列表傳送到每個子程式、執行子程式以及合併結果等。幹得漂亮！
這也能為我們返回每個函式呼叫的結果。Executor.map()函式會按照和輸入資料相同的順序返回結果。所以我用了Python的zip()函式作為捷徑，一步獲取原始檔名和每一步中的匹配結果。
這裡是經過這三步改動後的程式程式碼：
import glob
import os
from PIL import Image
import concurrent.futures
def make_image_thumbnail(filename):
# 縮圖會被命名為 "<original_filename>_thumbnail.jpg"
base_filename, file_extension = os.path.splitext(filename)
thumbnail_filename = f"{base_filename}_thumbnail{file_extension}"
# 建立和儲存縮圖
image = Image.open(filename)
image.thumbnail(size=(128, 128))
image.save(thumbnail_filename, "JPEG")
return thumbnail_filename
# 建立Process Pool，預設為電腦的每個CPU建立一個
with concurrent.futures.ProcessPoolExecutor() as executor:
# 獲取需要處理的檔案列表
image_files = glob.glob("*.jpg")
# 處理檔案列表，但通過Process Pool劃分工作，使用全部CPU！
for image_file, thumbnail_file in zip(image_files, executor.map(make_image_thumbnail, image_files)):
print(f"A thumbnail for {image_file} was saved as {thumbnail_file}")
複製程式碼我們來執行一下這段指令碼，看看它是否以更快的速度完成資料處理：
$ time python3 thumbnails_2.py
A thumbnail for 1430028941_4db9dedd10.jpg was saved as 1430028941_4db9dedd10_thumbnail.jpg
[... about 1000 more lines of output ...]
real 0m2.274s
user 0m8.959s
sys 0m0.951s
複製程式碼指令碼在2.2秒就處理完了資料！比原來的版本提速4倍！之所以能更快的處理資料，是因為我們使用了4個CPU而不是1個。
但是如果你仔細看看，會發現“使用者”時間幾乎為9秒。那為何程式處理時間為2.2秒，但不知怎麼搞得執行時間還是9秒？這似乎不太可能啊？
這是因為“使用者”時間是所有CPU時間的總和，我們最終完成工作的CPU時間總和一樣，都是9秒，但我們使用4個CPU完成的，實際處理資料時間只有2.2秒！
注意：啟用更多Python程式以及給子程式分配資料都會佔用時間，因此靠這個方法並不能保證總是能大幅提高速度。如果你要處理非常大的資料集，這裡有篇設定將資料集切分成多少小塊的文章，可以讀讀，會對你幫助甚大.
這種方法總能幫我的資料處理指令碼提速嗎？
如果你有一列資料，並且每個資料都能單獨處理時，使用我們這裡所說的Process Pools是一個提速的好方法。下面是一些適合使用並行處理的例子：
- 從一系列單獨的網頁伺服器日誌裡抓取統計資料。
- 從一堆XML，CSV和JSON檔案中解析資料。
- 對大量圖片資料做預處理，建立機器學習資料集。
但也要記住，Process Pools並不是萬能的。使用Process Pool需要在獨立的Python處理程式之間來回傳遞資料。如果你要處理的資料不能在處理過程中被有效地傳遞，這種方法就行不通了。簡而言之，你處理的資料必須是Python知道怎麼應對的型別。
同時，也無法按照一個預想的順序處理資料。如果你需要前一步的處理結果來進行下一步，這種方法也行不通。
那GIL的問題呢？
你可能知道Python有個叫全域性直譯器鎖（Global Interpreter Lock）的東西，即GIL。這意味著即使你的程式是多執行緒的，每個執行緒也只能執行一個Python指令。GIL確保任何時候都只有一個Python執行緒執行。換句話說，多執行緒的Python程式碼並不能真正地並行執行，從而無法充分利用多核CPU。
但是Process Pool能解決這個問題！因為我們是執行單獨的Python例項，每個例項都有自己的GIL。這樣我們獲得是真正能並行處理的Python程式碼！
不要害怕並行處理！
有了concurrent.futures庫，Python就能讓你簡簡單單地修改一下指令碼後，立刻讓你電腦上所有CPU投入到工作中。不要害怕嘗試這種方法，一旦你掌握了，它就跟一個for迴圈一樣簡單，卻能讓你的資料處理指令碼快到飛起。
參考資料：medium.com
限時折扣中： 0806期《人工智慧-從零開始到精通》
（還有少量200優惠券）
