當你在自己的 Python 程式中採用了基於事件迴圈的非同步程式設計方法之後,你就會發現自己不自覺地被其牢牢吸引住,並不是說這一方法多麼棒,而是因為你不得不想辦法保證程式中的任意環節都不能是阻塞的!
例如當前的場景是希望從 MongoDB 中讀取每一條未處理過的資料,下載並儲存其中的圖片資訊,然後更新資料庫的內容。Python 常用的 MongoDB 非同步驅動是 Motor:
結合 asyncio
使用方法如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
import motor.motor_asyncio import asyncio client = motor.motor_asyncio.AsyncIOMotorClient() db = client.test_database async def run(): async for mm in db.test_database.find({"status": 0}): print(mm['img_src']) # Download Image Here # dl_img(mm['img_src']) await db.test_database.update({"_id": mm['_id']}, {"$set": {"status":1}}) loop = asyncio.get_event_loop() loop.run_until_complete(run()) |
此時如果 dl_img()
處的操作是阻塞的,那麼非同步處理就沒有意義了。當然這裡依然可以藉助非同步網路請求庫 aiohttp
來實現圖片下載:
1 2 3 4 5 6 7 |
async with session.get(img) as resp: with open(img.split("/")[-1], 'wb') as fd: while True: chunk = await resp.content.read(1024) if not chunk: break fd.write(chunk) |
當然也可以不需要自己動手下載,直接呼叫系統命令列工具(例如 wget
)來完成下載任務。Python 通過 subprocess
標準庫實現系統命令呼叫(取代舊的os.system(cmd)
),執行下載任務只需要:
1 2 3 |
import subprocess as sb sb.run(['wget', img], shell=True) |
但是這種呼叫方式是無法直接在asyncio
的事件迴圈中使用的,但是asyncio
提供了對應的 subprocess
介面:
1 2 |
asyncio.create_subprocess_exec(*args, ...) asyncio.create_subprocess_shell(cmd, ...) |
這兩個方法均返回一個 asyncio.subprocess.Process
例項,而它的介面設計完全模仿了 subprocess.Popen
(上面提到 subprocess.run()
的底層實現),因此很容易將其用法移植到事件迴圈中:
1 2 3 |
async def dl_img(src): dl = await asyncio.create_subprocess_shell('wget {} -O {}'.format(src, src.split("/")[-1]) await dl.wait() |
除了上面場景中的用法,也可以直接將命令列的執行作為任務放入事件迴圈:
1 2 3 4 |
loop = asyncio.get_event_loop() sb = asyncio.create_subprocess_shell('exit 7', loop=loop) proc = loop.run_until_complete(sb) exitcode = loop.run_until_complete(proc.wait()) |
小結
在 Python 非同步程式設計的意義就在於不要讓 CPU 堵在 IO 上,因此需要在每一處涉及到阻塞的操作都需要注意使用正確的非同步方法,而一旦這些操作被封裝成非同步的 Task 之後,其後續的排程執行就無需再顧慮了。
打賞支援我寫出更多好文章,謝謝!
打賞作者
打賞支援我寫出更多好文章,謝謝!