一日一技:協程與多程式的完美結合

程式設計師小六發表於2022-11-24

我們知道,協程本質上是單執行緒單程式,透過充分利用IO等待時間來實現高併發。在IO等待時間之外的程式碼,還是序列執行的。因此,如果協程非常多,多少每個協程內部的序列程式碼執行時間超過了IO請求的等待時間,那麼它的併發就會有一個上限。

舉個例子,電飯煲煮飯,洗衣機洗衣服,熱水壺燒水,他們都是啟動裝置以後就能自己執行,我們可以利用他們自己執行的時間,讓這三件事情看起來幾乎在同時進行。但如果除了這三件事情外,還有開電視,開空調,發微信……等等幾十個事情。每個事情單獨拿出來確實都只需要做個開頭,剩下的就是等,但由於做這個開頭也需要時間,因此把他們全部啟動起來也要不少時間,你的效率還是被卡住。

現在,如果有兩個人一起來做這些事情,那情況就不一樣了。一個人煮飯和燒水,另一個人開洗衣機,開電視和空調。效率進一步提升。

這就是協程與多程式的結合,每個程式裡面多個協程同時執行,充分利用CPU的每一個核心,又充分利用了IO等待時間,把CPU跑滿,把網路頻寬跑滿。強強聯合,速度更快。

有一個第三方庫aiomultiprocess,讓你能用幾行程式碼就實現多程式與協程的組合。

首先使用pip安裝:

python3 -m pip install aiomultiprocess

它的語法非常簡單:

from aiomultiprocess import Pool
async with Pool() as pool:
    results = await pool.map(協程, 引數列表)

只需要3行程式碼,它就會在你CPU上每個核啟動一個程式,每個程式中不停啟動協程。

我們來寫一段實際程式碼:

import asyncio
import httpx
from aiomultiprocess import Pool

async def get(url):
    async with httpx.AsyncClient() as client:
        resp = await client.get(url)
        return resp.text


async def main():
    urls = [url1, url2, url3]
    async with Pool() as pool:
        async for result in pool.map(get, urls):
            print(result)  # 每一個URL返回的內容

if __name__ == '__main__':
    asyncio.run(main())

之前我寫非同步協程文章的時候,有些人同學會問我,爬蟲的速度真的那麼重要嗎?難道不是突破反爬蟲最重要嗎?

我的回答是,不要看到用aiohttp請求網址就覺得是做爬蟲。在微服務裡面,自己請求自己的HTTP介面,也需要使用httpx或者aiohttp。在這樣的場景裡面,速度就是非常的重要,有時候就是需要做到越快越好。

以上就是本次分享的所有內容,如果你覺得文章還不錯,歡迎關注公眾號:Python程式設計學習圈,每日干貨分享,傳送“J”還可領取大量學習資料。或是前往程式設計學習網,瞭解更多程式設計技術知識。

相關文章