【從零開始學爬蟲】任務屬性配置中的兩點技巧

前嗅大資料發表於2022-12-07

【從零開始學爬蟲】任務屬性配置中的兩點技巧

【使用工具】 前嗅ForeSpider資料採集系統。

功能位置 如下圖所示:

 

【任務屬性配置  

【具體內容】

1.瀏覽器採集

當頁面均由JS生成時,採集效果不理想的情況下,可以嘗試使用“瀏覽器採集”,該方式近乎於在瀏覽器上點選,會減慢採集速度,採集效率較低,但是對JS語法的支援更加全面。

例如:進行採集預覽時出現如下圖所示的提示框時,大機率上是由於網頁由大量JS生成,採集難度較大,此時便可選用瀏覽器採集的方式。


  【採集預覽結果】

2.啟用JavaScript解析

對於有些網頁的JavaScript只用於美觀效果的而不影響資料顯示的,關閉JavaScript不影響採集資料時,關閉可以加快採集速度。



來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69987309/viewspace-2927059/,如需轉載,請註明出處,否則將追究法律責任。

相關文章