第1題：動態載入又對及時性要求很高怎麼處理？
如何知道一個網站是動態載入的資料？ 用火狐或者谷歌瀏覽器 開啟你網頁，右鍵檢視頁面原始碼，ctrl +F 查詢輸入內容，原始碼裡面並沒有這個值，說明是動態載入資料。
- Selenium+Phantomjs
- 儘量不使用 sleep 而使用 WebDriverWait
第2題：python 爬蟲有哪些常用框架？
| 序號 | 框架名稱 | 描述 | 官網 |
|---|---|---|---|
| 1 | Scrapy | Scrapy是一個為了爬取網站資料，提取結構性資料而編寫的應用框架。 可以應用在包括資料探勘，資訊處理或儲存歷史資料等一系列的程式中。用這個框架可以輕鬆爬下來如亞馬遜商品資訊之類的資料。 | scrapy.org/ |
| 2 | PySpider | pyspider 是一個用python實現的功能強大的網路爬蟲系統，能在瀏覽器介面上進行指令碼的編寫，功能的排程和爬取結果的實時檢視，後端使用常用的資料庫進行爬取結果的儲存，還能定時設定任務與任務優先順序等。 | github.com/binux/pyspi… |
| 3 | Crawley | Crawley可以高速爬取對應網站的內容，支援關係和非關聯式資料庫，資料可以匯出為JSON、XML等。 | project.crawley-cloud.com/ |
| 4 | Portia | Portia是一個開源視覺化爬蟲工具，可讓您在不需要任何程式設計知識的情況下爬取網站！簡單地註釋您感興趣的頁面，Portia將建立一個蜘蛛來從類似的頁面提取資料。 | github.com/scrapinghub… |
| 5 | Newspaper | Newspaper可以用來提取新聞、文章和內容分析。使用多執行緒，支援10多種語言等。 | github.com/codelucas/n… |
| 6 | Beautiful Soup | Beautiful Soup 是一個可以從HTML或XML檔案中提取資料的Python庫.它能夠通過你喜歡的轉換器實現慣用的文件導航,查詢,修改文件的方式.Beautiful Soup會幫你節省數小時甚至數天的工作時間 | www.crummy.com/software/Be… |
| 7 | Grab | Grab是一個用於構建Web刮板的Python框架。藉助Grab，您可以構建各種複雜的網頁抓取工具，從簡單的5行指令碼到處理數百萬個網頁的複雜非同步網站抓取工具。Grab提供一個API用於執行網路請求和處理接收到的內容，例如與HTML文件的DOM樹進行互動。 | docs.grablib.org/en/latest/#… |
| 8 | Cola | Cola是一個分散式的爬蟲框架，對於使用者來說，只需編寫幾個特定的函式，而無需關注分散式執行的細節。任務會自動分配到多臺機器上，整個過程對使用者是透明的。 | 沒找著~ |
| 9 | 很多 | 看自己積累 | 多百度 |
第3題： Scrapy 的優缺點?
優點：scrapy 是非同步的
採取可讀性更強的 xpath 代替正則強大的統計和 log 系統，同時在不同的 url 上爬行支援 shell 方式，方便獨立除錯寫 middleware,方便寫一些統一的過濾器，通過管道的方式存入資料庫。
缺點：基於 python 的爬蟲框架，擴充套件性比較差
基於 twisted 框架，執行中的 exception 是不會幹掉 reactor，並且非同步框架出錯後是不會停掉其他任務的，資料出錯後難以察覺。
第4題： scrapy 和 request?
-
scrapy 是封裝起來的框架，他包含了下載器，解析器，日誌及異常處理，基於多執行緒， twisted 的方式處理，對於固定單個網站的爬取開發，有優勢，但是對於多網站爬取，併發及分散式處理方面，不夠靈活，不便調整與括展。
-
request 是一個 HTTP 庫， 它只是用來，進行請求，對於 HTTP 請求，他是一個強大的庫，下載，解析全部自己處理，靈活性更高，高併發與分散式部署也非常靈活，對於功能可以更好實現。
第5題： 描述下 scrapy 框架執行的機制？
- 從 start_urls 裡獲取第一批 url 併傳送請求，請求由引擎交給排程器入請求佇列，獲取完畢後，排程器將請求佇列裡的請求交給下載器去獲取請求對應的響應資源，並將響應交給自己編寫的解析方法做提取處理，如果提取出需要的資料，則交給管道檔案處理；
- 如果提取出 url，則繼續執行之前的步驟（傳送 url 請求，並由引擎將請求交給排程器入佇列…)，直到請求佇列裡沒有請求，程式結束。
第6題： 實現模擬登入的方式有哪些？
- 使用一個具有登入狀態的 cookie，結合請求報頭一起傳送，可以直接傳送 get 請求，訪問登入後才能訪問的頁面。
- 先傳送登入介面的 get 請求，在登入頁面 HTML 裡獲取登入需要的資料（如果需要的話），然後結合賬戶密碼，再傳送 post 請求，即可登入成功。然後根據獲取的 cookie資訊，繼續訪問之後的頁面。
第7題： 你遇到過的反爬蟲的策略？
- BAN IP
- BAN USERAGENT
- BAN COOKIES
- 驗證碼驗證
- javascript渲染
- ajax非同步傳輸
- 等.......
後續面試問題
- 你常用的反反爬蟲的方案？
- 你用過多執行緒和非同步嗎？除此之外你還用過什麼方法來提高爬蟲效率？
- 有沒有做過增量式抓取？
- 對Python爬蟲框架是否有了解？
她專科學歷 27歲從零開始學習c，c++，python程式語言 29歲編寫百例教程 30歲掌握10種程式語言， 用自學的經歷告訴你，學程式設計就找夢想橡皮擦
歡迎關注她的公眾號，非本科程式設計師
