本人第一個開原始碼,NETSpider 網路蜘蛛採集工具

kingkoo發表於2014-10-02

NETSpider網站資料採集軟體是一款基於.Net平臺的開源軟體。
軟體部分功能是基本Soukey軟體進行開發的.這個版本採用VS2010+.NET3.5進行開發的.
NETSpider採摘當前提供的主要功能如下:

1. 多工多執行緒資料採集,支援POST方式(待定);
2. 可採集Ajax頁面;
3. 支援Cookie,支援手工登入採集資料;
4. 支援採集事務;
5. 支援資料自動及手工匯出,匯出格式為:文字、Excel、Access、MSSql、Mysql等;
6. 支援線上釋出資料;
7. 支援導航網址的採集,導航深度不限;
8. 支援自動翻頁;
9. 支援檔案下載,可以採集圖片、Flash及其他檔案;
10. 支援採集結果資料的加工,包括替換、附字首字尾、擷取等操作,支援正則;
11. 採集網址定義不僅支援基本引數定義,也可外接字典資料作為網址引數,進行資料採集;
12. 支援一個任務多例項執行;
13. 提供計劃任務,計劃任務支援NETSpider採集任務、外部可執行檔案任務、資料庫儲存過程任務(還在開發中);
14. 計劃任務執行週期支援每天、每週及自定義執行間隔;最小單位為:半小時;
15. 支援任務觸發器,即可在採集任務完成後,自動觸發執行其他任務(包括可執行檔案或儲存過程)。
16. 完善的日誌功能:系統日誌、任務執行日誌、出錯日誌等等;

17. 系統提供MINI瀏覽器可用於捕獲Cookie或POST資料;


NETSpider採集器並不限制您是否商用此軟體,原始碼完全開放,

===================以下為更新內容===================================

1. NETSpider於2014年10月1日開放

 

 

相關原始碼下載:http://git.oschina.net/kingkoo1985/NETSpider/

 

1.目前這個版本還有很多的驗證未做處理,沒有時間(花了兩週的樣子寫成這樣子),所以新增的時候請按規定填寫資料

2.還有部分功能未實現.等有空我會繼續完善的

 

相關文章