python爬蟲基礎概念

Jmayday發表於2020-05-11

1、什麼是爬蟲?

       通過編寫程式,讓其模擬瀏覽器上網,然後在網際網路頁面中抓取資料的過程。

關鍵詞

模擬:瀏覽器就是一個純天然最原始的爬蟲工具

抓取:抓取一整張頁面的全部或區域性資料

2、爬蟲的分類

(1) 通用爬蟲:爬取一整張頁面的資料

(2) 聚焦爬蟲:爬取區域性的資料

(3)增量式爬蟲:監測資料更新情況,爬取更新出來的資料

(4)分散式爬蟲:提高爬取效率的終極武器

3、反爬機制是什麼?

    作用到入口網站中,制定相關的機制或措施阻止爬蟲程式爬取資料

4、反反爬策略是什麼?

    作用在爬蟲程式當中,我們可以通過制定相關的策略破解反爬機制,從而爬取資料

 

相關文章