Python使用多程式提高網路爬蟲的爬取速度

多執行緒技術並不能充分利用硬體資源和大幅度提高系統吞吐量，類似需求應使用多程式程式設計技術滿足。

以爬取中國工程院院士簡介和照片為例，參考程式碼如下，請自行分析目標網頁結構並與參考程式碼進行比對。另外需要注意，該程式最好在cmd命令提示符環境執行。

宣告：爬蟲系列文章僅供技術研究，如果用於惡意目的，引起的後果由使用者自己承擔。

爬蟲系列文章：

JavaScript獲取本機瀏覽器UA助力Python爬取糗事百科首頁

Python批量爬取名字中帶有中文的pdf檔案

Python爬取網頁中表格資料並匯出為Excel檔案

Python使用標準庫urllib模擬瀏覽器爬取網頁內容

Python爬蟲基礎：常用HTML標籤和Javascript入門

Python+selenium+PhantomJS獲取百度搜尋結果真實連結地址

Python 3.6模擬輸入並爬取百度前10頁密切相關連結

手把手教你使用Python+scrapy爬取山東各城市天氣預報

Python爬蟲系列：使用selenium+Edge查詢指定城市天氣情況

Python爬蟲系列：判斷目標網頁編碼的幾種方法

BeautifulSoup解析庫select方法例項——獲取企業資訊

Python批量爬取微信公眾號文章中的圖片

Python裸奔也瘋狂：批量爬取中國工程院院士資訊

Python爬蟲擴充套件庫scrapy選擇器用法入門（一）

Python使用Scrapy爬蟲框架爬取天涯社群小說“大宗師”全文

Python不使用scrapy框架而編寫的網頁爬蟲程式

Python爬蟲擴充套件庫BeautifulSoup4用法精要

多執行緒與多程式系列文章：

使用Python編寫屬於自己的錄音軟體

Python多執行緒與Socket程式設計綜合案例：素數

Python使用多執行緒搜尋指定範圍內的所有素數

Python使用兩個Event物件同步生產者消費者問題

Python多執行緒程式設計基礎3：建立執行緒與呼叫函式的區別

Python多執行緒程式設計基礎2：如何建立執行緒

Python多執行緒程式設計基礎1：為什麼要使用執行緒

Python使用標準庫subprocess呼叫外部程式

Python使用BoundedSemaphore物件進行執行緒同步

Python使用Queue物件實現多執行緒同步小案例

Python使用Condition物件實現多執行緒同步

Python多執行緒程式設計中daemon屬性的作用

Python使用pyopencl在GPU上並行處理批量判斷素數

Python使用pycuda在GPU上並行處理批量判斷素數

Python利用Spark並行處理框架批量判斷素數

Python使用Manager物件實現不同機器上的程式跨網路傳輸資料

Python多執行緒程式設計中使用Barrier物件進行同步

Python使用多程式批量判斷素數

Python並行判斷多個大整數是否為素數

溫馨提示

進入公眾號，通過選單“最新資源”==>“歷史文章”可以快速檢視分專題的文章列表，通過“最新資源”==>“微課專區”可以觀看Python微課，通過“最新資源”==>“培訓動態”可以檢視近期Python培訓安排，通過“最新資源”==>“教學資源”可以檢視Python教學資源。

--------董付國老師Python系列圖書--------

1）《Python程式設計（第2版）》清華大學出版社

2）《Python可以這樣學》清華大學出版社

3）《Python程式設計基礎（第2版）》清華大學出版社

4）《中學生可以這樣學Python》清華大學出版社，配套微課：《中學生可以這樣學Python》84節微課免費觀看地址

5）《Python程式設計開發寶典》清華大學出版社

6）《玩轉Python輕鬆過二級》清華大學出版社

7）《Python程式設計基礎與應用》機械工業出版社

8）《Python程式設計實驗指導書》清華大學出版社（預計2019年1月出版）

9）《Python程式設計基礎與案例集錦（中學版）》電子工業出版社（預計2019年2月出版）

《中學生可以這樣學Python》84節微課免費觀看地址

非計算機專業《Python程式設計基礎》教學參考大綱

計算機相關專業“Python程式設計”教學大綱（參考）

《Python程式設計》實驗指導書（30個實驗）

《Python程式設計基礎與應用》課後習題答案

Python課程期末考試程式設計題自動批卷原理與實現模板

“Python小屋”免費資源彙總（截至2018年11月28日）

系列教學PPT:

1900頁Python系列PPT分享一：基礎知識（106頁）

1900頁Python系列PPT分享二：Python序列（列表、元組、字典、集合）（154頁）

1900頁Python系列PPT分享三：選擇與迴圈結構語法及案例（96頁）

1900頁Python系列PPT分享四：字串與正規表示式（109頁）

1900頁Python系列PPT分享五：函式設計與應用（134頁）

1900頁Python系列PPT分享六：物件導向程式設計（86頁）

1900頁Python系列PPT分享七：檔案操作（132頁）

1900頁Python系列PPT分享八：異常處理結構與程式除錯、測試（70頁）

報告PPT（163頁）：基於Python語言的課程群建設探討與實踐

報告PPT（123頁）：Python程式設計基礎精要

2000頁Python系列PPT分享九：（GUI程式設計）（122頁）

Python實驗專案1例：使用程式池統計指定範圍內素數的個數

（PPT）Python程式設計課程教學內容組織與教學方法實踐