爬蟲福利二 之 妹子圖網MM批量下載

Nick Peng發表於2020-01-11
爬蟲

爬蟲福利一：27報網MM批量下載    點選

看了本文，相信大家對爬蟲一定會產生強烈的興趣，激勵自己去學習爬蟲，在這裡提前祝：大家學有所成！

目標網站：妹子圖網

環境：Python3.x

相關第三方模組：requests、beautifulsoup4

Re：各位在測試時只需要將程式碼裡的變數 path 指定為你當前系統要儲存的路徑，使用 python xxx.py 或IDE執行即可。

完整原始碼如下：（文末有更大的福利，希望親們喜歡。。。）

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
import os

all_url = 'https://www.mzitu.com'

# http請求頭
Hostreferer = {
    'User-Agent': 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)',
    'Referer': 'http://www.mzitu.com'
}
# 此請求頭Referer破解盜圖連結
Picreferer = {
    'User-Agent': 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)',
    'Referer': 'http://i.meizitu.net'
}

# 對mzitu主頁all_url發起請求，將返回的HTML資料儲存，便於解析
start_html = requests.get(all_url, headers=Hostreferer)

# Linux儲存地址
# path = '/home/Nick/Desktop/mzitu/'

# Windows儲存地址
path = 'E:/mzitu/'

# 獲取最大頁數
soup = BeautifulSoup(start_html.text, "html.parser")
page = soup.find_all('a', class_='page-numbers')
max_page = page[-2].text


# same_url = 'http://www.mzitu.com/page/'   # 主頁預設最新圖片
# 獲取每一類MM的網址
same_url = 'https://www.mzitu.com/mm/page/'     # 也可以指定《qingchun MM系列》

for n in range(1, int(max_page) + 1):
    # 拼接當前類MM的所有url
    ul = same_url + str(n)

    # 分別對當前類每一頁第一層url發起請求
    start_html = requests.get(ul, headers=Hostreferer)

    # 提取所有MM的標題
    soup = BeautifulSoup(start_html.text, "html.parser")
    all_a = soup.find('div', class_='postlist').find_all('a', target='_blank')

    # 遍歷所有MM的標題
    for a in all_a:
        # 提取標題文字，作為資料夾名稱
        title = a.get_text()
        if(title != ''):
            print("準備扒取：" + title)

            # windows不能建立帶？的目錄，新增判斷邏輯
            if(os.path.exists(path + title.strip().replace('?', ''))):
                # print('目錄已存在')
                flag = 1
            else:
                os.makedirs(path + title.strip().replace('?', ''))
                flag = 0
            # 切換到上一步建立的目錄
            os.chdir(path + title.strip().replace('?', ''))

            # 提取第一層每一個MM的url，併發起請求
            href = a['href']
            html = requests.get(href, headers=Hostreferer)
            mess = BeautifulSoup(html.text, "html.parser")

            # 獲取第二層最大頁數
            pic_max = mess.find_all('span')
            pic_max = pic_max[9].text
            if(flag == 1 and len(os.listdir(path + title.strip().replace('?', ''))) >= int(pic_max)):
                print('已經儲存完畢，跳過')
                continue

            # 遍歷第二層每張圖片的url
            for num in range(1, int(pic_max) + 1):
                # 拼接每張圖片的url
                pic = href + '/' + str(num)

                # 發起請求
                html = requests.get(pic, headers=Hostreferer)
                mess = BeautifulSoup(html.text, "html.parser")
                pic_url = mess.find('img', alt=title)
                print(pic_url['src'])
                html = requests.get(pic_url['src'], headers=Picreferer)

                # 提取圖片名字
                file_name = pic_url['src'].split(r'/')[-1]

                # 儲存圖片
                f = open(file_name, 'wb')
                f.write(html.content)
                f.close()
            print('完成')
    print('第', n, '頁完成')

扒圖步驟分析：（送給有興趣的朋友） 

1、獲取網頁原始碼

開啟mzitu網址，用瀏覽器的F12可以看到網頁的請求過程及原始碼

該步驟程式碼如下：

#coding=utf-8

import requests

url = 'http://www.mzitu.com'

#設定headers，網站會根據這個判斷你的瀏覽器及作業系統，很多網站沒有此資訊將拒絕你訪問
header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 UBrowser/6.1.2107.204 Safari/537.36'}

#用get方法開啟url併傳送headers
html = requests.get(url,headers = header)

#列印結果 .text是列印出文字資訊即原始碼
print(html.text)

返回的響應，如果沒問題的話結果和下面類似，這些就是網頁的原始碼了。

<html>
<body>

......

        $("#index_banner_load").find("div").appendTo("#index_banner");
        $("#index_banner").css("height", 90);
        $("#index_banner_load").remove();
});
</script>
</body>
</html>

2、提取所需資訊

  • 將獲取的原始碼轉換為BeautifulSoup物件
  • 使用find搜尋需要的資料，儲存到容器中

該步驟程式碼如下：

#coding=utf-8

import requests
from bs4 import BeautifulSoup

url = 'http://www.mzitu.com'
header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 UBrowser/6.1.2107.204 Safari/537.36'}

html = requests.get(url,headers = header)

#使用自帶的html.parser解析，速度慢但通用
soup = BeautifulSoup(html.text,'html.parser')

#實際上是第一個class = 'postlist'的div裡的所有a 標籤是我們要找的資訊
all_a = soup.find('div',class_='postlist').find_all('a',target='_blank')

for a in all_a:
    title = a.get_text() #提取文字
    print(title)

如下就找到了當頁所有套圖的標題：

注意：BeautifulSoup()返回的型別是<class 'bs4.BeautifulSoup'>
find()返回的型別是<class 'bs4.element.Tag'>
find_all()返回的型別是<class 'bs4.element.ResultSet'>
<class 'bs4.element.ResultSet'>不能再進項find/find_all操作

 3、進入第二層頁面，進行下載操作

點進一個套圖之後，發現他是每個頁面顯示一個圖片，這時我們需要知道他的總頁數，比如：http://www.mzitu.com/26685是某個套圖的第一頁，後面的頁數都是再後面跟/和數字http://www.mzitu.com/26685/2 (第二頁)，那麼很簡單了，我們只需要找到他一共多少頁，然後用迴圈組成頁數就OK了。

該步驟程式碼如下： 

#coding=utf-8

import requests
from bs4 import BeautifulSoup

url = 'http://www.mzitu.com/26685'
header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 UBrowser/6.1.2107.204 Safari/537.36'}

html = requests.get(url,headers = header)
soup = BeautifulSoup(html.text,'html.parser')

#最大頁數在span標籤中的第10個
pic_max = soup.find_all('span')[10].text
print(pic_max)

#輸出每個圖片頁面的地址
for i in range(1,int(pic_max) + 1):
    href = url+'/'+str(i)
    print(href)

那麼我們接下來就是進行尋找圖片地址，儲存下來；右鍵MM圖片，點選檢查可以發現如圖：

 

<img src="https://i5.meizitu.net/2019/07/01b56.jpg" alt="xxxxxxxxxxxxxxxxxxxxxxxxx" width="728" height="485">

如圖所示，上面就是我們MM圖片的具體地址了，儲存它即可。

該步驟程式碼如下： 

#coding=utf-8

import requests
from bs4 import BeautifulSoup

url = 'http://www.mzitu.com/26685'
header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 UBrowser/6.1.2107.204 Safari/537.36'}

html = requests.get(url,headers = header)
soup = BeautifulSoup(html.text,'html.parser')

#最大頁數在span標籤中的第10個
pic_max = soup.find_all('span')[10].text

#找標題
title = soup.find('h2',class_='main-title').text

#輸出每個圖片頁面的地址
for i in range(1,int(pic_max) + 1):
    href = url+'/'+str(i)
    html = requests.get(href,headers = header)
    mess = BeautifulSoup(html.text,"html.parser")


    #圖片地址在img標籤alt屬性和標題一樣的地方
    pic_url = mess.find('img',alt = title)

    html = requests.get(pic_url['src'],headers = header)

    #獲取圖片的名字方便命名
    file_name = pic_url['src'].split(r'/')[-1]

    #圖片不是文字檔案，以二進位制格式寫入，所以是html.content
    f = open(file_name,'wb')
    f.write(html.content)
    f.close()

到此分析結束，完整程式碼見文章開頭...... 

福利三：完善後的程式碼已打包成軟體，在這裡也送給親們...

百度網盤連結：https://pan.baidu.com/s/1tuxrsZMB3g_0sbxA6w47MA  提取碼：z19p 

相關文章