Python爬蟲入門學習線路圖2019最新版（附Python爬蟲視訊教程）

通過學習，可以掌握分散式多執行緒大型爬蟲技術，能開發企業級爬蟲程式。

千鋒Python爬蟲學習線路簡單示意圖：

 

知識點細化：

1. 多執行緒原理：同步與非同步、串聯與併發、執行緒、開闢一個執行緒、執行緒安全與執行緒鎖、多執行緒佇列。
2. 協程：執行緒的侷限、協程的定義與原理、協程的實現。
3. 爬蟲的概念及相關工具：爬蟲的概念及作用、HTTP協議原理、工具的安裝、使用。
4. Python http libs：urllib的使用、示例requests庫的使用、bs4庫的使用、xpath語法。
5. 爬蟲實戰：使用requests編寫-個簡單爬蟲、改造requests爬蟲為多執行緒版、利用redis改造多執行緒版爬蟲至分散式。
6. scrapy框架：scrapy安裝、建立專案、建立spider檔案，編寫parse方法、scrapy子命令、執行scrapy爬蟲程式、命令列傳遞引數、進一步解析二級頁面、parse方法之前傳遞引數、匯出json、Csv格式的資料、scrapy爬蟲的狀態儲存、item的定義、item的使用、pipeline的使用、使用pipeline將items儲存至MySQ、Lscrapy整體架構、downloadermiddleware、使用downloadermiddleware實現IP代理池、spidermiddleware、scrapy外掛、scrapy-redis。
7. 量化交易：自動化交易理論、Python量化交易框架。

 

相關視訊教程推薦：Python爬蟲從入門到高階實戰精品視訊教程