推薦13個.Net開源的網路爬蟲

weixin_34391854發表於2018-05-06

2888000325de808d7943

1:.Net開源的跨平臺爬蟲框架 DotnetSpider Star:430

DotnetSpider這是國人開源的一個跨平臺、高效能、輕量級的爬蟲軟體,採用 C# 開發。目前是.Net開源爬蟲最為優秀的爬蟲之一。

288b0000b47c62b8c038

請點選此處輸入圖片描述

2:俄國牛人寫的開源爬蟲xNet Star:117

這個一個俄國牛人寫的開源工具,為啥說他強悍了,因為他將所有Http協議的底層都實現了一遍,這有啥好處?只要你是寫爬蟲的,都會遇到一個讓人抓狂的問題,就是明明知道自己Http請求頭跟瀏覽器一模一樣了,為啥還會獲取不到自己想要的資料

3:開源的.net爬蟲Abot Star:1050

Abot是一個開源的.net爬蟲,速度快,易於使用和擴充套件

4:C#仿火車頭的開源資料採集器V5_DataCollection Star:25

V5 資料採集器是一款面向個人及專業使用者提供的一款專業的資料採集軟體,即適用於簡單化配置操作,也適應針對複雜資料採集的能力,所見即可採。 V5資料採集器獨有的代理輪詢採集機制,可有效的解決網站遮蔽問題,可用於網際網路資料動態監控,絕對是您的首選

5:C#爬蟲引擎核心版SmartSpider Star:17

SmartSpider爬蟲引擎核心版,全新的設計理念,真正的極簡版本。

6:.Net開源的超級爬蟲Hawk Star:1039

HAWK是一種資料採集和清洗工具,依據GPL協議開源,能夠靈活,有效地採集來自網頁,資料庫,檔案, 並通過視覺化地拖拽, 快速地進行生成,過濾,轉換等操作。其功能最適合的領域,是爬蟲和資料清洗

7:基於C#.NET的簡單且高效的網站爬蟲 Star:58

Simple-Web-Crawler - 基於C#.NET的簡單網頁爬蟲,支援非同步併發、切換代理、操作Cookie、Gzip加速。

8:網站資料採集軟體網路礦工採集器(原soukey採摘) 

Soukey採摘網站資料採集軟體是一款基於.Net平臺的開源軟體,也是網站資料採集軟體型別中唯一一款開源軟體。儘管Soukey採摘開源,但並不會影響軟體功能的提供,甚至要比一些商用軟體的功能還要豐富。Soukey採摘當前提供的主要功能如下: 1.    多工多執行緒資料採集,支援POST方式;...

9:網站資料採集軟體NETSpider Star:94

NETSpider網站資料採集軟體是一款基於.Net平臺的開源軟體。 軟體部分功能是基本Soukey軟體進行開發的.這個版本採用VS2010+.NET3.5進行開發的. NETSpider採摘當前提供的主要功能如下: 1.    多工多執行緒資料採集,支援POST方式(待定); 2.    可...

10:網路爬蟲程式NWebCrawler 

NWebCrawler是一款開源的C#網路爬蟲程式

11:Web爬蟲工具NCrawler 

NCrawler 是一個Web Crawler 工具,它可以讓開發人員很輕鬆的發展出具有Web Crawler 能力的應用程式,並且具有可以延展的能力,讓開發人員可以擴充它的功能,以支援其他型別的資源(例如PDF /Word/Excel 等檔案或其他資料來源)。 NCrawler 使用多執行緒...

12:多執行緒web爬蟲程式spidernet 

spidernet是一個以遞迴樹為模型的多執行緒web爬蟲程式, 支援text/html資源的獲取. 可以設定爬行深度, 最大下載位元組數限制, 支援gzip解碼, 支援以gbk(gb2312)和utf8編碼的資源; 儲存於sqlite資料檔案. 原始碼中TODO:標記描述了未完成功能, 希望提交你...

13:網頁爬蟲ScrapingSpider Star:48

ScrapingSpider 是一個業餘時間開發的,支援多執行緒,支援關鍵字過濾,支援正文內容智慧識別的爬蟲。    爬蟲的核心實現在ScrapingSpider.Core程式集中。爬蟲類為Spider類,爬蟲的爬取邏輯,與頁面處理邏輯通過事件分離,兩個關鍵事件為AddUrlEvent和Data...

14:爬蟲小新Sinawler 

國內第一個針對微博資料的爬蟲程式!原名“新浪微博爬蟲”。 登入後,可以指定使用者為起點,以該使用者的關注人、粉絲為線索,延人脈關係蒐集使用者基本資訊、微博資料、評論資料。 該應用獲取的資料可作為科研、與新浪微博相關的研發等的資料支援,但請勿用於商業用途。該應用基於.NET2.0框架,需SQL SER...

相關文章