Django用來作為爬蟲框架淺談

東方佑發表於2018-11-23

首先該框架採用了分散式路由管理機制,其次自帶資料庫管理後臺十分強大
那麼分散式路由管理機制 可以實現高併發的爬蟲 同時也可以遠端監控爬蟲的執行情況
只要你的電腦上有瀏覽器
還可以檢視資料庫且擺脫l傳統的終端操作和自主開發的管理系統可以實現多平臺搭建爬蟲
且可以實現多版本並存,只要反問地址不同就可驅動不同的版本程式完全可以實現版本控制的目的,且做到了執行與儲存備份一體統一的目的使用django不僅可以管理Python程式還可管理資料庫
其次自帶資料庫管理後臺十分強大
通過強大瀏覽器可將專案管理ui做到極致
所以如果寫一個基於Django的爬蟲專案管理框架等於
實現了所有Python專案管理框架
且實現了將來Python在所有終端上執行的目的
Python+瀏覽器就是一個程式與介面完全分離的目的
也就是說瀏覽器是作業系統
而Django是核心

相關文章