一文帶你搞清楚Python的多執行緒和多程序

华为云开发者联盟發表於2024-06-12
Python執行緒

本文分享自華為雲社群《Python中的多執行緒與多程序程式設計大全【python指南】》，作者：檸檬味擁抱。

Python作為一種高階程式語言，提供了多種併發程式設計的方式，其中多執行緒與多程序是最常見的兩種方式之一。在本文中，我們將探討Python中多執行緒與多程序的概念、區別以及如何使用執行緒池與程序池來提高併發執行效率。

多執行緒與多程序的概念

多執行緒

多執行緒是指在同一程序內，多個執行緒併發執行。每個執行緒都擁有自己的執行棧和區域性變數，但共享程序的全域性變數、靜態變數等資源。多執行緒適合用於I/O密集型任務，如網路請求、檔案操作等，因為執行緒在等待I/O操作完成時可以釋放GIL（全域性直譯器鎖），允許其他執行緒執行。

多程序

多程序是指在作業系統中同時執行多個程序，每個程序都有自己獨立的記憶體空間，相互之間不受影響。多程序適合用於CPU密集型任務，如計算密集型演算法、影像處理等，因為多程序可以利用多核CPU並行執行任務，提高整體運算速度。

執行緒池與程序池的介紹

執行緒池

執行緒池是一種預先建立一定數量的執行緒並維護這些執行緒，以便在需要時重複使用它們的技術。執行緒池可以減少執行緒建立和銷燬的開銷，提高執行緒的重複利用率。在Python中，可以使用concurrent.futures.ThreadPoolExecutor來建立執行緒池。

程序池

程序池類似於執行緒池，不同之處在於程序池預先建立一定數量的程序並維護這些程序，以便在需要時重複使用它們。程序池可以利用多核CPU並行執行任務，提高整體運算速度。在Python中，可以使用concurrent.futures.ProcessPoolExecutor來建立程序池。

執行緒池與程序池的應用示例

下面是一個簡單的示例，演示瞭如何使用執行緒池和程序池來執行一組任務。

import concurrent.futures
import time

def task(n):
    print(f"Start task {n}")
    time.sleep(2)
    print(f"End task {n}")
    return f"Task {n} result"

def main():
    # 使用執行緒池
    with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
        results = executor.map(task, range(5))
        for result in results:
            print(result)

    # 使用程序池
    with concurrent.futures.ProcessPoolExecutor(max_workers=3) as executor:
        results = executor.map(task, range(5))
        for result in results:
            print(result)

if __name__ == "__main__":
    main()

在上面的示例中，我們定義了一個task函式，模擬了一個耗時的任務。然後，我們使用ThreadPoolExecutor建立了一個執行緒池，並使用map方法將任務提交給執行緒池執行。同樣地，我們也使用ProcessPoolExecutor建立了一個程序池，並使用map方法提交任務。最後，我們列印出每個任務的結果。

執行緒池與程序池的效能比較

一文帶你搞清楚Python的多執行緒和多程序

雖然執行緒池與程序池都可以用來實現併發執行任務，但它們之間存在一些效能上的差異。

執行緒池的優勢

  • 輕量級: 執行緒比程序更輕量級，建立和銷燬執行緒的開銷比建立和銷燬程序要小。
  • 共享記憶體: 執行緒共享同一程序的記憶體空間，可以方便地共享資料。
  • 低開銷: 在切換執行緒時，執行緒只需儲存和恢復棧和暫存器的狀態，開銷較低。

程序池的優勢

  • 真正的並行: 程序可以利用多核CPU真正並行執行任務，而執行緒受到GIL的限制，在多核CPU上無法真正並行執行。
  • 穩定性: 程序之間相互獨立，一個程序崩潰不會影響其他程序，提高了程式的穩定性。
  • 資源隔離: 每個程序有自己獨立的記憶體空間，可以避免多個執行緒之間的記憶體共享問題。

效能比較示例

下面是一個簡單的效能比較示例，演示了執行緒池和程序池在執行CPU密集型任務時的效能差異。

import concurrent.futures
import time

def cpu_bound_task(n):
    result = 0
    for i in range(n):
        result += i
    return result

def main():
    start_time = time.time()

    # 使用執行緒池執行CPU密集型任務
    with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
        results = executor.map(cpu_bound_task, [1000000] * 3)

    print("Time taken with ThreadPoolExecutor:", time.time() - start_time)

    start_time = time.time()

    # 使用程序池執行CPU密集型任務
    with concurrent.futures.ProcessPoolExecutor(max_workers=3) as executor:
        results = executor.map(cpu_bound_task, [1000000] * 3)

    print("Time taken with ProcessPoolExecutor:", time.time() - start_time)

if __name__ == "__main__":
    main()

在上面的示例中，我們定義了一個cpu_bound_task函式，模擬了一個CPU密集型任務。然後，我們使用ThreadPoolExecutor和ProcessPoolExecutor分別建立執行緒池和程序池，並使用map方法提交任務。最後，我們比較了兩種方式執行任務所花費的時間。

透過執行以上程式碼，你會發現使用程序池執行CPU密集型任務的時間通常會比使用執行緒池執行快，這是因為程序池可以利用多核CPU真正並行執行任務，而執行緒池受到GIL的限制，在多核CPU上無法真正並行執行。

一文帶你搞清楚Python的多執行緒和多程序

當考慮如何實現一個能夠同時下載多個檔案的程式時，執行緒池和程序池就成為了很有用的工具。讓我們看看如何用執行緒池和程序池來實現這個功能。

首先，我們需要匯入相應的庫：

import concurrent.futures
import requests
import time

然後，我們定義一個函式來下載檔案：

def download_file(url):
    filename = url.split("/")[-1]
    print(f"Downloading {filename}")
    response = requests.get(url)
    with open(filename, "wb") as file:
        file.write(response.content)
    print(f"Downloaded {filename}")
    return filename

接下來，我們定義一個函式來下載多個檔案，這裡我們使用執行緒池和程序池來分別執行：

def download_files_with_thread_pool(urls):
    start_time = time.time()
    with concurrent.futures.ThreadPoolExecutor() as executor:
        results = executor.map(download_file, urls)
    print("Time taken with ThreadPoolExecutor:", time.time() - start_time)

def download_files_with_process_pool(urls):
    start_time = time.time()
    with concurrent.futures.ProcessPoolExecutor() as executor:
        results = executor.map(download_file, urls)
    print("Time taken with ProcessPoolExecutor:", time.time() - start_time)

最後，我們定義一個主函式來測試這兩種方式的效能：

def main():
    urls = [
        "https://www.example.com/file1.txt",
        "https://www.example.com/file2.txt",
        "https://www.example.com/file3.txt",
        # Add more URLs if needed
    ]

    download_files_with_thread_pool(urls)
    download_files_with_process_pool(urls)

if __name__ == "__main__":
    main()

透過執行以上程式碼，你可以比較使用執行緒池和程序池下載檔案所花費的時間。通常情況下，當下載大量檔案時，使用程序池的效能會更好，因為它可以利用多核CPU實現真正的並行下載。而使用執行緒池則更適合於I/O密集型任務，如網路請求，因為執行緒在等待I/O操作完成時可以釋放GIL，允許其他執行緒執行。

這個例子展示瞭如何利用執行緒池和程序池來提高併發下載檔案的效率，同時也強調了根據任務特點選擇合適的併發程式設計方式的重要性。

併發程式設計中的注意事項

雖然執行緒池與程序池提供了方便的併發執行任務的方式，但在實際應用中還需要注意一些問題，以避免出現潛在的併發問題和效能瓶頸。

共享資源的同步

  • 在多執行緒程式設計中，共享資源的訪問需要進行同步，以避免競爭條件和資料不一致性問題。可以使用鎖、訊號量等同步機制來保護關鍵資源的訪問。
  • 在多程序程式設計中，由於程序之間相互獨立，共享資源的同步相對簡單，可以使用程序間通訊（如管道、佇列）來傳遞資料，避免資料競爭問題。

記憶體消耗與上下文切換

  • 建立大量執行緒或程序可能會導致記憶體消耗增加，甚至引起記憶體洩漏問題。因此，在設計併發程式時需要注意資源的合理利用，避免建立過多的執行緒或程序。
  • 上下文切換也會帶來一定的開銷，特別是在頻繁切換的情況下。因此，在選擇併發程式設計方式時，需要綜合考慮任務的特點和系統資源的限制，以及上下文切換的開銷。

異常處理與任務超時

  • 在併發執行任務時，需要注意異常處理機制，及時捕獲和處理任務中可能出現的異常，以保證程式的穩定性和可靠性。
  • 另外，為了避免任務阻塞導致整個程式停滯，可以設定任務的超時時間，並在超時後取消任務或進行相應的處理。

最佳實踐與建議

在實際應用中，為了編寫高效、穩定的併發程式，可以遵循以下一些最佳實踐和建議：

  • 合理設定併發度: 根據系統資源和任務特點，合理設定執行緒池或程序池的大小，避免建立過多的執行緒或程序。
  • 合理分配任務: 根據任務的型別和特點，合理分配任務到執行緒池或程序池中，以充分利用系統資源。
  • 注意異常處理: 在任務執行過程中及時捕獲和處理異常，保證程式的穩定性和可靠性。
  • 監控與調優: 使用監控工具和效能分析工具對併發程式進行監控和調優，及時發現和解決效能瓶頸和潛在問題。

透過遵循以上最佳實踐和建議，可以編寫出高效、穩定的併發程式，提高程式的執行效率和效能。同時，也可以避免一些常見的併發程式設計陷阱和問題，確保程式的質量和可靠性。

總結

本文介紹了在Python中使用執行緒池和程序池來實現併發程式設計的方法，並提供了相應的程式碼示例。首先，我們討論了多執行緒和多程序的概念及其在併發程式設計中的應用場景。然後，我們深入探討了執行緒池和程序池的工作原理以及它們之間的效能比較。

在程式碼示例部分，我們演示瞭如何使用執行緒池和程序池來執行多個任務，其中包括下載多個檔案的示例。透過比較兩種方式執行任務所花費的時間，我們可以更好地瞭解它們在不同場景下的優劣勢。

此外，文章還提供了一些併發程式設計中的注意事項和最佳實踐，包括共享資源的同步、記憶體消耗與上下文切換、異常處理與任務超時等。這些建議有助於開發者編寫高效、穩定的併發程式，提高程式的執行效率和效能。

總的來說，執行緒池和程序池是Python中強大的工具，能夠幫助開發者輕鬆實現併發程式設計，並充分利用計算資源。選擇合適的併發程式設計方式，並結合實際場景和任務特點，可以編寫出高效、可靠的併發程式，提升應用的效能和使用者體驗。

點選關注，第一時間瞭解華為雲新鮮技術~

相關文章