什麼是爬蟲？Python爬蟲工作需要掌握哪些技能？

　　網路爬蟲是Python的應用領域之一，世界上80%的爬蟲都是基於Python開發的，那麼Python爬蟲能幹什麼呢?我們一起來看看吧。

　　什麼是爬蟲?

　　網路爬蟲，是一種按照一定的規則，自動地抓取全球資訊網資訊的程式或者指令碼，另外一些不常用的名字還有螞蟻、自動索引、模擬程式或蠕蟲。

　　通俗的來講，就是透過程式去獲取web網頁上自己想要的資料，也就是自動抓取資料。

　　爬蟲可以做什麼?

　　你可以利用爬蟲抓取圖片、影片等等你想要的資料，只要你能透過瀏覽器訪問的資料都可以透過爬蟲獲取。

　　爬蟲的本質是什麼?

　　爬蟲的本質主要是模擬瀏覽器開啟網頁，從而獲取網頁中我們想要的那部分資料。

　　從事Python爬蟲工作需要懂什麼?

　　學習Python基礎知識並實現基本的爬蟲過程：一般獲取資料的過程都是按照 傳送請求-獲得頁面反饋-解析並且儲存資料 這三個流程來實現的。這個過程其實就是模擬了一個人工瀏覽網頁的過程。

　　Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，我們可以按照requests 負責連線網站，返回網頁，Xpath 用於解析網頁，便於抽取資料。

　　瞭解非結構化資料的儲存：爬蟲抓取的資料結構複雜 傳統的結構化資料庫可能並不是特別適合我們使用。我們前期推薦使用MongoDB 就可以。

　　掌握一些常用的反爬蟲技巧：使用代理IP池、抓包、驗證碼的OCR處理等處理方式即可以解決大部分網站的反爬蟲策略。

　　瞭解分散式儲存：分散式這個東西，聽起來很恐怖，但其實就是利用多執行緒的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具就可以。