好程式設計師Python培訓分享零基礎Python爬蟲學習線路

　　好程式設計師 Python 培訓分享 零基礎Python 爬蟲學習線路， 現在之所以有這麼多的小夥伴熱衷於爬蟲技術，無外乎是因為爬蟲可以幫我們做很多事情，比如搜尋引擎、採集資料、廣告過濾等，以Python 為例， Python 爬蟲可以用於資料分析，在資料抓取方面發揮巨大的作用。

　　 但是這並不意味著單純掌握一門Python 語言，就對爬蟲技術觸類旁通，要學習的知識和規範還有喜很多，包括但不僅限於 HTML 知識、 HTTP/HTTPS 協議的基本知識、正規表示式、資料庫知識，常用抓包工具的使用、爬蟲框架的使用等。而且涉及到大規模爬蟲，還需要了解分散式的概念、訊息佇列、常用的資料結構和演算法、快取，甚至還包括機器學習的應用，大規模的系統背後都是靠很多技術來支撐的。

　　 零基礎如何學爬蟲技術？ 對於迷茫的初學者來說，爬蟲技術起步學習階段，最重要的就是明確學習路徑，找準學習方法，唯有如此，在良好的學習習慣督促下，後期的系統學習才會事半功倍，遊刃有餘。

　　 用Python 寫爬蟲，首先需要會 Python ，把基礎語法搞懂，知道怎麼使用函式、類和常用的資料結構如 list 、 dict 中的常用方法就算基本入門。作為入門爬蟲來說，需要了解 HTTP 協議的基本原理，雖然 HTTP 規範用一本書都寫不完，但深入的內容可以放以後慢慢去看，理論與實踐相結合後期學習才會越來越輕鬆。關於爬蟲學習的具體步驟，我大概羅列了以下幾大部分，大家可以參考：

　　 網路爬蟲基礎知識:

　　 爬蟲的定義

　　 爬蟲的作用

　　 Http 協議

　　 基本抓包工具(Fiddler) 使用

　　 Python 模組實現爬蟲：

　　 urllib3 、 requests 、 lxml 、 bs4 模組大體作用講解

　　 使用requests 模組 get 方式獲取靜態頁面資料

　　 使用requests 模組 post 方式獲取靜態頁面資料

　　 使用requests 模組獲取 ajax 動態頁面資料

　　 使用requests 模組模擬登入網站

　　 使用Tesseract 進行驗證碼識別

　　 Scrapy 框架與 Scrapy-Redis ：

　　 Scrapy 爬蟲框架大體說明

　　 Scrapy spider 類

　　 Scrapy item 及 pipeline

　　 Scrapy CrawlSpider 類

　　 透過Scrapy-Redis 實現分散式爬蟲

　　 藉助自動化測試工具和瀏覽器爬取資料：

　　 Selenium + PhantomJS 說明及簡單例項

　　 Selenium + PhantomJS 實現網站登入

　　 Selenium + PhantomJS 實現動態頁面資料爬取

　　 爬蟲專案實戰：

　　 分散式爬蟲+ Elasticsearch 打造搜尋引擎