此次實戰專案清單:
- WeRoBot框架開發自動回覆微信機器人
- Tornado開發後臺
- MongoDB做資料存貯
- Scrapyd部署爬蟲
- Scrapy編寫爬蟲
- 把這些都部署在阿里雲伺服器上
- 用Python編寫
把這些東西混在一起,就實現了,通過微信公眾號來獲取每日新鮮資訊的功能
廢話不多說,先上圖,看效果!
網頁醜,請原諒我,我不是專門寫前端的,前端知識我會日後補上的。為什麼選擇電腦端訪問,因為手機上訪問可能還是有些限制,但是電腦端訪問完全沒有問題啊!這效果贊不讚?牛不牛?
這還不趕緊關注一波『皮克啪的鏟屎官』?我都乾貨做到這份上了,大家還不幫我推廣分享一下?讓更多的人來享受學習的樂趣。
開發思路
既然看到了效果,那麼我們現在就來扯一扯實現這個過程的來龍去脈。
這裡給出答案:我們需要一個微信自動回覆的機器人,因為這樣,我就不需要每天自己登陸網頁端,複製黏貼編寫材料了,用電腦來代替我的勞動,這樣我多輕鬆。
這裡給出答案:我們需要在遠端架設一臺伺服器,上面需要跑起來一套網站的服務。給我們提供一個網頁,裡面有我們想要的資訊資訊。
這裡給我出答案:網頁端讀取的資料,都應該是從資料庫中讀的。
這裡給出答案:資料是來源,我們可以通過爬蟲程式來爬下來。
想到這裡基本差不多了,中間在加一些粘合劑,我們可以通過Scrapyd來把爬蟲部署到遠端伺服器上,再通過一個定時裝置來定時執行爬蟲程式。這樣我們就會有源源不斷的資料更新了。而網頁端,我們只需要展示當天的資料就可以了。這麼下來,
我們選擇用Python來搞事情,因為這個東西,很適合搞事情。
我們既然把整個邏輯都想好了,那麼我們倒著來擼這件事情。
之前的幾篇文章:
【Python實戰】手把手超詳細教程教你Scrapy爬達蓋爾社群,有彩蛋
【Python實戰】用Scrapy編寫“1024網站種子吞噬爬蟲”,送福利
【Python實戰】用程式碼來訪問1024網站,送福利
【Python實戰】用Scrapyd把Scrapy爬蟲一步一步部署到騰訊雲上
我已經把怎樣寫爬蟲,以及怎樣把爬蟲部署到伺服器上,都講的很細很細了,而且還有手把手的教程講解,可謂非常良心了。這裡我就略過了。
接下來,我們用到了MongoDB,這個的安裝過程,我在上一篇文章中講的很清楚了:
【Python實戰】在阿里雲伺服器上安裝MongoDB,並實現遠端視覺化連線
如果有什麼不會的,可以給我留言,我會幫你解答的。
那麼前面提到的這幾個東西,就剩下WeRoBot和Tornado了。這個我準備在下一期文章中詳細給大家講解怎麼開發。這裡面的坑其實還不少,但是,我已經給大家踩過了。大家跟著我的步驟一步一步來就完全OK。
整體回顧
遠端的伺服器上面的爬蟲,是Scrapy寫的蟲子。
通過Tornado的定時執行功能,會每一個小時執行一次。
將爬下來的資料存入到MongoDB中。
Tornado的路徑對於的GET方法,會從MongoDB中讀取資料,並傳入到已經寫好的html模板中。
WeRoBot則是依靠Tornado部署的,嵌入到了Tornado服務中。通過微信傳過來的特定的指令,來做出返回結果並返回給客戶端。
上面的內容就介紹這麼多吧,希望大家能夠喜歡。獨樂樂不如眾樂樂。如果大家喜歡鏟屎官的文章,希望大家能夠告訴身邊更多的朋友,一起加入,來體驗更多樂趣。
這麼硬貨的公眾號,你們還不趕緊關注一波啊?