VSCrawler爬蟲專案介紹
VSCrawler是virjar大神寫的一個java爬蟲專案，VSCrawler接入了dungproxy作為網路層API，本身自帶代理服務。比起其他流行的webmagic，Scrapy等爬蟲框架，VSCrawler在處理諸如如多使用者登陸，IP代理，複雜流程抽取等爬蟲常見的棘手問題上，具有不小的優勢。VSCrawler的一個重要特性就是他把下載和解析放在了同一個元件裡面。
VSCrawler在部分實現上參考了webmagic，同時程式碼為了相容webmagic和方便使用者基於webmagic專案的遷移，VSCrawler提供了一個橋接模組,可以將webMagic的部分功能直接遷移到VSCrawler。
VSCrawler有三個基本元件，分別是 Processor、Pipeline和SessionPool，用來擴充套件解析頁面，儲存抓取結果和定製網路下載工具。
相關文章
- Java爬蟲入門(一)——專案介紹Java爬蟲
- 爬蟲介紹爬蟲
- 通用新聞爬蟲開發系列（專案介紹）爬蟲
- Java 爬蟲專案實戰之爬蟲簡介Java爬蟲
- Python爬蟲教程-32-Scrapy 爬蟲框架專案 Settings.py 介紹Python爬蟲框架
- Python爬蟲教程-01-爬蟲介紹Python爬蟲
- Scrapy定向爬蟲教程(一)——建立執行專案和基本介紹爬蟲
- 想成為Python高手，必須看這篇爬蟲原理介紹！（附29個爬蟲專案）Python爬蟲
- 爬蟲專案爬蟲
- 【爬蟲】爬蟲專案推薦 / 思路爬蟲
- Python爬蟲教程-34-分散式爬蟲介紹Python爬蟲分散式
- Python爬蟲教程-30-Scrapy 爬蟲框架介紹Python爬蟲框架
- puppeteer介紹（一）爬蟲，效能，注入爬蟲
- 爬蟲小專案爬蟲
- 爬蟲專案部署爬蟲
- 建立爬蟲專案爬蟲
- 爬蟲專案（一）爬蟲+jsoup輕鬆爬知乎爬蟲JS
- 在scrapy框架下建立爬蟲專案，建立爬蟲檔案，執行爬蟲檔案框架爬蟲
- 第一章 爬蟲介紹爬蟲
- 奇伢爬蟲專案爬蟲
- 爬蟲專案總結爬蟲
- 網路爬蟲專案爬蟲
- scrapyd 部署爬蟲專案爬蟲
- Scrapy建立爬蟲專案爬蟲
- 爬蟲代理 Scrapy 框架詳細介紹 2爬蟲框架
- node.js實現爬蟲功能介紹Node.js爬蟲
- Oracle Secure Enterprise Search 爬蟲介紹Oracle爬蟲
- 爬蟲專案實戰（一）爬蟲
- 爬蟲實戰專案集合爬蟲
- 爬蟲的例項專案爬蟲
- 爬蟲實戰專案合集爬蟲
- gerapy框架爬蟲專案部署框架爬蟲
- 爬蟲小專案（一）淘寶爬蟲
- Python爬蟲專案整理Python爬蟲
- 網路爬蟲專案蒐集爬蟲
- 11.4. 爬蟲專案爬蟲
- python爬蟲:爬蟲的簡單介紹及requests模組的簡單使用Python爬蟲
- 精通Scrapy網路爬蟲【一】第一個爬蟲專案爬蟲