python爬蟲基礎概念

Jmayday發表於2020-05-11
Python爬蟲

1、什麼是爬蟲？

       通過編寫程式，讓其模擬瀏覽器上網，然後在網際網路頁面中抓取資料的過程。

關鍵詞

模擬：瀏覽器就是一個純天然最原始的爬蟲工具

抓取:抓取一整張頁面的全部或區域性資料

2、爬蟲的分類

(1) 通用爬蟲:爬取一整張頁面的資料

(2) 聚焦爬蟲:爬取區域性的資料

(3)增量式爬蟲:監測資料更新情況，爬取更新出來的資料

(4)分散式爬蟲:提高爬取效率的終極武器

3、反爬機制是什麼?

    作用到入口網站中，制定相關的機制或措施阻止爬蟲程式爬取資料

4、反反爬策略是什麼?

    作用在爬蟲程式當中，我們可以通過制定相關的策略破解反爬機制，從而爬取資料

 

相關文章