之前我也做過百度雲盤搜尋功能,使用的是搜尋引擎的的站內搜尋功能site:pan.baidu.com,看了現在絕大大多數的網盤搜尋都是使用的這個技巧。這次升級的版本是自己獨立開發的網盤爬蟲,2天爬取了60W搜尋(實際上還可以能多,因為瞬時爬取頻率太高,百度會封IP,考慮分散式的爬蟲或代理IP能很好解決這個問題)。
使用到的技術:前臺:PHP(thinkphp框架),後臺爬蟲:Python,前端介面bootstrap框架
程式部分截圖
首頁
結果頁
後臺爬蟲管理,還在開發中。。。
爬蟲做好了,搜尋功能還沒做好,只能精確搜尋,所以大家注意下關鍵詞。
演示網址:http://pan.whatsoo.com
使用到的技術:前臺:PHP(thinkphp框架),後臺爬蟲:Python,前端介面bootstrap框架
程式部分截圖
首頁
結果頁
後臺爬蟲管理,還在開發中。。。
爬蟲做好了,搜尋功能還沒做好,只能精確搜尋,所以大家注意下關鍵詞。
演示網址:http://pan.whatsoo.com
評論(9)