客戶端爬蟲平臺(dSpider)提供了Android/ios sdk, 同時支援顯式爬取和靜默爬取. dSpider是一個使用Javascrip語言的客戶端爬取平臺,由sdk、Pc工具(即將釋出)、以及雲管理平臺三部分組成。詳情:dspider.dtworkroom.com/document
客戶端需求的場景及簡介
如果你還不知道客戶端爬取是什麼,能幹什麼,下面文章你需要先了解一下:
IOS整合文件
官方幫助文件:dspider.dtworkroom.com/document/io…
demo: github.com/wendux/DSpi… (歡迎star)
附:DSpider的9大特點
- 突破ip限制,IP限制對DSpider徹底無效
- 客戶端使用者授權時可手動登入,繞過驗證碼問題,使使用者體驗更友好。
- 可以抓取動態生成的網頁。
- 指令碼使用javascript語言,對於前端程式設計師0門檻。
- 爬取指令碼非常容易寫,程式碼量極少,你可以使用任何前端的js庫,同時dSpider內建jQuery,讓解析網頁非常容易。
- 測試支援;支援本地除錯,同時提供pc端測試工具。
- 強大的雲管理平臺;實時監視應用爬取狀態、動態更新指令碼、錯誤分析、配置下發等眾多功能。
- 支援ios/android,支援靜默爬取。
- 指令碼商店;完整的生態系統和使用者群,使用者可以釋出指令碼到指令碼商店,其它使用者可以自由新增。使用者無需自己寫程式碼。
dspider官網:dspider.dtworkroom.com/document/in…