寫爬蟲，是一個非常考驗綜合實力的活兒。有時候，你輕而易舉地就抓取到了想要的資料；有時候，你費盡心思卻毫無所獲。
好多Python爬蟲的入門教程都是一行程式碼就把你騙上了“賊船”，等上了賊船才發現，水好深～
比如爬取一個網頁可以是很簡單的一行程式碼：
r = requests.get('http://news.baidu.com')
非常的簡單，但它的作用也僅僅是爬取一個網頁，而一個有用的爬蟲遠遠不止於爬取一個網頁。
一個有用的爬蟲，只需兩個詞來衡量：
- 數量：能否抓全所有該類資料
- 效率：抓完所有資料需要多久一天還是一個月
但要做到這兩個詞，卻是要下很多功夫。自己下功夫是一方面，也很重要的是你要抓全的目標網站給你出了多少難題。綜合起來，就寫一個爬蟲有多少難度。
網路爬蟲難度一：只需爬取html網頁但要上規模
這裡我們舉個新聞爬蟲的例子。大家都用過百度的新聞搜尋吧，我就拿它的爬蟲來講講實現上的難度。
新聞網站基本上不設防，新聞內容都在網頁的html程式碼裡了，抓全一個網頁基本上就是一行的事情。似乎聽上去很簡單，但對於一個搜尋引擎級的爬蟲，就不那麼簡單了，要把幾千幾萬家新聞網站的新聞都及時抓取到也不是一件容易的事情。
我們先看看新聞爬蟲的簡單流程圖：
從一些種子網頁開始，種子網頁往往是一些新聞網站的首頁，爬蟲抓取網頁，從中提取網站URL放到網址池再進行抓取。這樣就從幾個網頁開始，不斷擴充套件到其它網頁。爬蟲抓取的網頁也越來越多，提取出的新網網址也會成幾何級數增長。
如何能在最短時間抓取更多網址？
這就是其中一個難度，這不是目標網址帶來的，而是對我們自身自願的考驗：
- 我們的頻寬夠嗎
- 我們的伺服器夠嗎，單臺不夠就要分散式
如何能及時抓取到最新的新聞？
這是效率之外的另一個難度，如何保證及時性？幾千家新聞網站，時刻都在釋出最新新聞，爬蟲在織網式抓取“舊”新聞的同時，如何兼顧獲取“新”新聞呢？
如何儲存抓取到的海量新聞？
爬蟲織網式的爬取，會把每個網站幾年前幾十年前的新聞網頁都給翻出來，從而獲得海量的網頁需要儲存。就是儲存上的難度。
如何清理提取網內容？
從新聞網頁的html裡面快速、準確提取想要的資訊資料，比如標題、釋出時間、正文內容等，這又帶來內容提取上的難度。
網路爬蟲難度二：需要登入才能抓到想要的資料
人是貪婪的，想要的資料無窮盡，但是很多資料不是你輕易就可以獲得的。有一大類資料就是需要賬戶登入後才能看到，也就是說，爬蟲請求時必須是登入狀態才能抓取資料。
如何獲取登入狀態？
老猿前面已經說過了，http協議的性質決定了登入狀態就是一些cookies，那麼如何獲得登入狀態就是一個非常有難度的問題。
有些網站登入過程很簡單，把賬戶、密碼發給伺服器，伺服器驗證通過返回表示已登入的cookies。這樣的網站，比較容易實現自動登入，爬蟲執行過程全程無需人工干預，你就有更多時間喝茶、聊天、上猿人學看python。
如何處理驗證碼?
然而，網站們既然要求你登入了，他們就不會這麼輕易放過你，要做的更絕才能讓小猿們善罷甘休，那就是上驗證碼！
沒錯，就是變態的驗證碼！！作為見多識廣的老猿，我還是經常識別不出驗證碼，慚愧慚愧。
據說，有人僱了一批大媽，進行人工識別驗證碼；也有，通過影像處理技術，尤其如今火熱的深度學習、人工智慧的技術，來自動識別驗證碼。
那麼，當你寫爬蟲時遇到驗證碼該怎麼辦？
網路爬蟲難度三：ajax非同步載入甚至JavaScript解密
前面的兩個難度，都是靠我們研究資料載入過程，然後用Python程式碼可以重現出來，進行抓取的。
而遇到達第三個難度時，研究資料載入過程會讓你十分痛苦、近乎崩潰。非同步載入流程和伺服器來來回回好多次，最後得到的資料還要通過JavaScript解密才能看到，這都是壓垮小猿們的最後一根稻草。
有沒有什麼終極大招可以破解呢？
以上，老猿總結了多年寫爬蟲的應驗，得出這三個爬蟲的難度等級，後面老猿將結合實際示例來講解如何破解這些不同程度的難題。
下一篇開始上實戰乾貨：
一步一步構建一個大規模非同步新聞爬蟲
我的公眾號：猿人學 Python 上會分享更多心得體會，敬請關注。
***版權申明:若沒有特殊說明，文章皆是猿人學 yuanrenxue.com 原創，沒有猿人學授權，請勿以任何形式轉載。***