Python爬蟲面試題分享！這三點很重要

　　Python工程師的就業方向有很多，其中包含Python爬蟲開發，它是非常受歡迎的就業崗位，也是很多企業熱招的崗位。那麼你知道面試Python爬蟲開發工程師的時候會問及哪些問題嗎?小編為大家提供幾個相關面試題目，希望對你有所幫助。

　　Scrapy和scrapy-redis有什麼區別?

　　Scrapy屬於Python爬蟲的框架之一，效率高，具有高度定製性，但是不支援分散式;scrapy-redis是一套基於redis資料庫、執行在scrapy框架之上的元件，可以讓scrapy支援分散式策略，slaver端共享master端redis資料庫裡的item佇列、請求佇列和請求指紋集合。

　　Scrapy框架的執行機制是什麼?

　　從start_urls獲取第一批url併傳送請求，請求由引擎交給排程器入請求佇列，獲取完畢之後，排程器將請求佇列裡面的請求交給下載器去獲取請求對應的資源，然後將響應交給自己編寫的解析方法進行提取處理。

　　1如果提取出需要的資料，直接交給管道檔案進行處理;

　　2如果提取出url，會繼續執行之前的步驟，直到請求佇列裡沒有請求，程式即可結束。

　　Post和get的區別是什麼?

　　Post：請求不能被快取下來，post請求不會儲存在瀏覽器瀏覽記錄中，post請求的url無法儲存為瀏覽器書籤;沒有長度限制;請求會把請求的資料放置在http請求包的包體中;post的安全性比get高。

　　Get：指定的伺服器中獲取資料。Get請求能夠被快取;會儲存在瀏覽器的瀏覽記錄中;以get請求的url能夠儲存為瀏覽器書籤;請求具有長度限制;get請求主要用以獲取資料。