【Python實戰】這一次,他通過公眾號訪問最新的1024資訊資訊,乾貨,有彩蛋

皮克啪的鏟屎官發表於2018-06-08

此次實戰專案清單:

  • WeRoBot框架開發自動回覆微信機器人
  • Tornado開發後臺
  • MongoDB做資料存貯
  • Scrapyd部署爬蟲
  • Scrapy編寫爬蟲
  • 把這些都部署在阿里雲伺服器上
  • 用Python編寫
    把這些東西混在一起,就實現了,通過微信公眾號來獲取每日新鮮資訊的功能

廢話不多說,先上圖,看效果!

【Python實戰】這一次,他通過公眾號訪問最新的1024資訊資訊,乾貨,有彩蛋

網頁醜,請原諒我,我不是專門寫前端的,前端知識我會日後補上的。為什麼選擇電腦端訪問,因為手機上訪問可能還是有些限制,但是電腦端訪問完全沒有問題啊!這效果贊不讚?牛不牛?

這還不趕緊關注一波『皮克啪的鏟屎官』?我都乾貨做到這份上了,大家還不幫我推廣分享一下?讓更多的人來享受學習的樂趣。

開發思路

既然看到了效果,那麼我們現在就來扯一扯實現這個過程的來龍去脈。

首先,我們白日做夢一下, 想著我怎麼能夠通過微信公眾號來訪問網站啊?

這裡給出答案:我們需要一個微信自動回覆的機器人,因為這樣,我就不需要每天自己登陸網頁端,複製黏貼編寫材料了,用電腦來代替我的勞動,這樣我多輕鬆。
這裡就是WeRoBot的使用場景。

接下來,我們如果有了自動回覆機器人,那麼我們拿什麼來看呢?

這裡給出答案:我們需要在遠端架設一臺伺服器,上面需要跑起來一套網站的服務。給我們提供一個網頁,裡面有我們想要的資訊資訊。
這就是阿里雲伺服器(騰訊的也可以)和Tornado的使用場景。

接著,我們還得研究,我網頁上的資料,從哪裡來啊??

這裡給我出答案:網頁端讀取的資料,都應該是從資料庫中讀的。
這裡就是MongoDB的使用場景。

知道資料從哪裡讀取的了,那麼資料是從哪裡來的啊?

這裡給出答案:資料是來源,我們可以通過爬蟲程式來爬下來。
這裡就是Scray的使用場景了。

想到這裡基本差不多了,中間在加一些粘合劑,我們可以通過Scrapyd來把爬蟲部署到遠端伺服器上,再通過一個定時裝置來定時執行爬蟲程式。這樣我們就會有源源不斷的資料更新了。而網頁端,我們只需要展示當天的資料就可以了。這麼下來,

一切都思路都很完美,就差一個程式設計師了,對嗎?

我們選擇用Python來搞事情,因為這個東西,很適合搞事情。

我們既然把整個邏輯都想好了,那麼我們倒著來擼這件事情。

之前的幾篇文章:

【Python實戰】手把手超詳細教程教你Scrapy爬達蓋爾社群,有彩蛋
【Python實戰】用Scrapy編寫“1024網站種子吞噬爬蟲”,送福利
【Python實戰】用程式碼來訪問1024網站,送福利
【Python實戰】用Scrapyd把Scrapy爬蟲一步一步部署到騰訊雲上

我已經把怎樣寫爬蟲,以及怎樣把爬蟲部署到伺服器上,都講的很細很細了,而且還有手把手的教程講解,可謂非常良心了。這裡我就略過了。

接下來,我們用到了MongoDB,這個的安裝過程,我在上一篇文章中講的很清楚了:

【Python實戰】在阿里雲伺服器上安裝MongoDB,並實現遠端視覺化連線

如果有什麼不會的,可以給我留言,我會幫你解答的。

那麼前面提到的這幾個東西,就剩下WeRoBot和Tornado了。這個我準備在下一期文章中詳細給大家講解怎麼開發。這裡面的坑其實還不少,但是,我已經給大家踩過了。大家跟著我的步驟一步一步來就完全OK。

整體回顧

遠端的伺服器上面的爬蟲,是Scrapy寫的蟲子。

通過Tornado的定時執行功能,會每一個小時執行一次。

將爬下來的資料存入到MongoDB中。

Tornado的路徑對於的GET方法,會從MongoDB中讀取資料,並傳入到已經寫好的html模板中。

WeRoBot則是依靠Tornado部署的,嵌入到了Tornado服務中。通過微信傳過來的特定的指令,來做出返回結果並返回給客戶端。

上面的內容就介紹這麼多吧,希望大家能夠喜歡。獨樂樂不如眾樂樂。如果大家喜歡鏟屎官的文章,希望大家能夠告訴身邊更多的朋友,一起加入,來體驗更多樂趣。

關注『皮克啪的鏟屎官』,回覆『Daily』,就會找到你內心深處最想要的東西。

                     這麼硬貨的公眾號,你們還不趕緊關注一波啊?

                           【Python實戰】這一次,他通過公眾號訪問最新的1024資訊資訊,乾貨,有彩蛋





相關文章