Web Scraper分為chrome外掛和雲服務兩種形態,雲服務是收費的,chrome外掛是免費的,我們這篇教程說的就是chrome外掛這種。
Web Scraper是幹嘛的
Web Scraper的用處就是透過chrome瀏覽器來抓取網頁資料(比如豆瓣帖子,京東商品資訊,網易新聞等),不需要你懂技術,不需要你寫爬蟲程式,可以讓你像配置軟體一樣配置就好可以抓取了。
老猿這篇文章試圖從零開始教你安裝配置,然後執行起來抓取資料,到匯出資料到本地。
Web Scraper使用條件
你得有一個chrome瀏覽器,Web scraper是透過外掛安裝在chrome瀏覽器上的。
Web Scraper的特點
一、優點
1.可以抓取動態載入的資料,比如透過ajax翻頁的資料
2.抓取的資料可以CSV檔案格式匯出到本地。csv檔案你可以直接使用excel開啟的
3.抓取需要登入的資料較方便,因為這個外掛是執行在瀏覽器上的。
4.只要抓取頻率慢一點,被網站遮蔽的機率較小,也因為是瀏覽器的原因,這就像是真實的使用者訪問一樣。
二、缺點
1.抓取效率較低,相對於爬蟲程式來說,Web scraper沒法大併發,快速切換IP等,所以大量級的資料抓取用Web Scrpaer不適合,慢慢抓大幾千網頁還是可以。
2.安裝Web Scraper麻煩,對於我們們國人來說,安裝chrome外掛需要到牆外安裝。不過也有好心人把這個外掛放在牆裡了,就是不是最新版。
Web Scraper安裝
第一種安裝方式:
如果你牆裡牆外來去無阻,那就用這種方式直接在chrome瀏覽器裡安裝。
步驟1:用chrome瀏覽器開啟這個連結。
步驟2:開啟後在左邊紅框處 輸入 Web Scraper,然後按Enter鍵。如下圖:
步驟3:在隨後出現的介面找到Web Scraper,點選 新增至Chrome。如下圖:
步驟4:這時會彈出 是否要新增”Web Scraper”對話方塊,點選新增擴充套件程式,稍等幾秒後,就安裝成功了,安裝成功後你會看到像截圖一樣,頁面右上方有一個Web Scraper外掛圖示。如下圖:
第二種安裝方式:
如果你只能在牆內遊玩,可以這樣離線安裝Web Scrpaer外掛。
步驟1:從這個雲盤下載安裝檔案。(版本更新於2018年8月)
連結地址
提取碼: jfgx
記住你下載檔案的位置,後面還要用。
步驟2:下載完成後,在chrome瀏覽器裡輸入如下 chrome://extensions/ 進入到外掛程式介面。如下圖:
步驟3:按照步驟2圖示紅處,勾選 開發者模式。
步驟4:開啟你剛才下載檔案的目錄。如下圖:
把 web-scraper-0.3.8_0.crx檔案用滑鼠拖拽到chrome瀏覽器裡,會彈出是否要新增,點選新增擴充套件程式,瀏覽器右上角也會出現 Web Scraper的圖示,表示安裝成功。如下圖:
未完待續。。。
Web Scraper系列文章:
我的公眾號:猿人學 Python 上會分享更多心得體會,敬請關注。
***版權申明:若沒有特殊說明,文章皆是猿人學 yuanrenxue.com 原創,沒有猿人學授權,請勿以任何形式轉載。***