百度雲盤搜尋引擎【升級版】

yuking發表於2019-05-11
原文網址 : http://www.topthink.com/topic/12783.html
之前我也做過百度雲盤搜尋功能，使用的是搜尋引擎的的站內搜尋功能site:pan.baidu.com，看了現在絕大大多數的網盤搜尋都是使用的這個技巧。這次升級的版本是自己獨立開發的網盤爬蟲，2天爬取了60W搜尋（實際上還可以能多，因為瞬時爬取頻率太高，百度會封IP，考慮分散式的爬蟲或代理IP能很好解決這個問題）。

使用到的技術：前臺：PHP（thinkphp框架），後臺爬蟲:Python，前端介面bootstrap框架

程式部分截圖
首頁


結果頁

後臺爬蟲管理，還在開發中。。。


爬蟲做好了，搜尋功能還沒做好，只能精確搜尋，所以大家注意下關鍵詞。
演示網址:http://pan.whatsoo.com

訪問：百度雲盤搜尋引擎【升級版】

搜尋引擎 爬蟲 百度雲盤
評論(9)

相關文章