asyncio於Python3.4引入標準庫，增加了對非同步I/O的支援，asyncio基於事件迴圈，可以輕鬆實現非同步I/O操作。接下來，我們用基於asyncio的庫實現一個高效能爬蟲。

準備工作

Earth View from Google Earth是一款Chrome外掛，會在開啟新標籤頁時自動載入一張來自Google Earth的背景圖片。

使用Chrome開發者工具觀察外掛的網路請求，我們發現外掛會請求一個地址如www.gstatic.com/prettyearth…的JSON檔案，檔案中包含了經過Base64的圖片內容，觀察發現，圖片的ID範圍大致在1000-8000之間，我們的爬蟲就要來爬取這些精美的背景圖片。

實現主要邏輯

由於爬取目標是JSON檔案，爬蟲的主要邏輯就變成了爬取JSON-->提取圖片-->儲存圖片。

requests是一個常用的http請求庫，但是由於requests的請求都是同步的，我們使用aiohttp這個非同步http請求庫來代替。

async def fetch_image_by_id(item_id):
	url = f'https://www.gstatic.com/prettyearth/assets/data/v2/{item_id}.json'
        # 由於URL是https的，所以選擇不驗證SSL
	async with aiohttp.ClientSession(connector=aiohttp.TCPConnector(verify_ssl=False)) as session:
		async with session.get(url) as response:
            # 獲取後需要將JSON字串轉為物件
			try:
				json_obj = json.loads(await response.text())
			except json.decoder.JSONDecodeError as e:
				print(f'Download failed - {item_id}.jpg')
				return
            # 獲取JSON中的圖片內容欄位，經過Base64解碼成二進位制內容
			image_str = json_obj['dataUri'].replace('data:image/jpeg;base64,', '')
			image_data = base64.b64decode(image_str)
			save_folder = dir_path = os.path.dirname(
				os.path.realpath(__file__)) + '/google_earth/'
			with open(f'{save_folder}{item_id}.jpg', 'wb') as f:
				f.write(image_data)
			print(f'Download complete - {item_id}.jpg')
複製程式碼

aiohttp基於asyncio，所以在呼叫時需要使用async/await語法糖，可以看到，由於aiohttp中提供了一個ClientSession上下文，程式碼中使用了async with的語法糖。

加入並行邏輯

上面的程式碼是抓取單張圖片的邏輯，批量抓取圖片，需要再巢狀一層方法：

async def fetch_all_images():
    # 使用Semaphore限制最大併發數
	sem = asyncio.Semaphore(10)
	ids = [id for id in range(1000, 8000)]
	for current_id in ids:
		async with sem:
			await fetch_image_by_id(current_id)
複製程式碼

接下來，將這個方法加入到asyncio的事件迴圈中。

event_loop = asyncio.get_event_loop()
future = asyncio.ensure_future(fetch_all_images())
results = event_loop.run_until_complete(future)
複製程式碼

使用uvloop加速

uvloop基於libuv，libuv是一個使用C語言實現的高效能非同步I/O庫，uvloop用來代替asyncio預設事件迴圈，可以進一步加快非同步I/O操作的速度。

uvloop的使用非常簡單，只要在獲取事件迴圈前，呼叫如下方法，將asyncio的事件迴圈策略設定為uvloop的事件迴圈策略。

asyncio.set_event_loop_policy(uvloop.EventLoopPolicy())
複製程式碼

使用上面的程式碼，我們可以快速將大約1500張的圖片爬取下來。

效能對比

為了驗證aiohttp和uvloop的效能，筆者使用requests+concurrent庫實現了一個多程式版的爬蟲，分別爬取20個id，消耗的時間如圖。

可以看到，耗時相差了大概7倍，aiohttp+uvloop的組合在爬蟲這種I/O密集型的場景下，可以說具有壓倒性優勢。相信在不遠的將來，基於asyncio的庫會將無數爬蟲工程師從加班中拯救出來。

掃碼關注Python私房菜