Crawlab是一個專注於爬蟲的整合了爬蟲管理、任務排程、任務監控、資料分析等模組的分散式爬蟲管理平臺，非常適合對爬蟲管理、爬蟲工程化有要求的開發者及企業。對Crawlab還不瞭解的童鞋，請移步之前的文章:
Crawlab的任務排程核心模組是基於Celery的，因此天然支援分散式爬蟲、多節點抓取。Crawlab雖然是用python寫的，但爬蟲不侷限於python爬蟲，理論上可相容任何語言以及任何框架。從目前開源的框架來看，大部分爬蟲平臺是以scrapyd為核心，因此只能支援scrapy框架的爬蟲，而Crawlab不僅支援scrapy，還支援其他框架的爬蟲。
更新一覽
v0.2 已完成
- 基礎統計
- 資料分析（爬蟲）
- 網站資訊
- 定時任務
- 修復bug
待開發
- 使用者管理
- 上傳爬蟲
- 匯出資料
- 高階資料分析（網站、任務）
- 更多爬蟲例子
- 檔案管理
截圖
基礎統計（爬蟲）
基礎統計（任務）
定時任務
網站資訊
Github: tikazyq/crawlab
如果感覺Crawlab還不錯的話，請加作者微信拉入開發交流群，大家一起交流關於Crawlab的使用和開發。