我們的學習爬蟲的動力是什麼?
有人可能會說:如果我學好了,我可以找一個高薪的工作。
有人可能會說:我學習程式設計希望能夠為社會做貢獻(手動滑稽)
有人可能會說:為了妹子!
…..
其實我們會發現妹子才是第一生產力呀!
今天我們們就是爬取今日頭條,你要問我為什麼要爬取今日頭條?是因為愛嘛?
是因為責任嘛?
不,是因為頭條裡面的有很多美女圖片,然後我們可以把她們都爬取下來!!!
是不是想想都覺得很興奮,是不是都要流鼻血了?!
我們要做的就是把上面的圖片給爬下來。
開始分析網站
按下f12,然後點選network,重新整理下你可以看到這些
在網頁上可以看到圖片會隨著你下拉網頁而進行顯示更多的圖片。
今日頭條的網站是動態載入的,其實可以很輕鬆的就可以在xhr的檔案裡面找到。
不斷地傳送請求,點選這個請求看看是返回什麼資料
可以看到這是個json,裡面有圖片的url,這個就是我們要找的東西。
我們可以用json庫來解析,還有這個網站是get請求,這樣就可以用requests庫來傳送然後解析下就可以了,非常簡單。
程式碼:需要完整的程式碼可以關注後私信【爬取頭條】即可獲取
最後給你們看下結果
上述文章如有錯誤歡迎在留言區指出,如果這篇文章對你有用,點個贊,轉個發如何?