Python 爬蟲 + 人臉檢測 —— 知乎高顏值圖片抓取

程式設計師小白04發表於2020-12-21
Python爬蟲

1 資料來源

知乎 話題『美女』下所有問題中回答所出現的圖片

2 抓取工具

Python 3，並使用第三方庫 Requests、lxml、AipFace，程式碼共 100 + 行

3 必要環境

Mac / Linux / Windows （Linux 沒測過，理論上可以。Windows 之前較多反應出現異常，後查是 windows 對本地檔名中的字元做了限制，已使用正則過濾），無需登入知乎（即無需提供知乎帳號密碼），人臉檢測服務需要一個百度雲帳號（即百度網盤 / 貼吧帳號）

4 人臉檢測庫

AipFace，由百度雲 AI 開放平臺提供，是一個可以進行人臉檢測的 Python SDK。可以直接通過 HTTP 訪問，免費使用

http://ai.baidu.com/ai-doc/FACE/fk3co86lr

5 檢測過濾條件

  • 過濾所有未出現人臉圖片（比如風景圖、未露臉身材照等）
  • 過濾所有非女性（在抓取中，發現知乎男性圖片基本是明星，故不考慮；存在 AipFace 性別識別不準的情況）
  • 過濾所有非真實人物，比如動漫人物 （AipFace Human 置信度小於 0.6）
  • 過濾所有顏值評分較低圖片（AipFace beauty 屬性小於 45，為了節省儲存空間；再次宣告，AipFace 評分無任何客觀性）

在這裡還是要推薦下我自己建的Python開發學習群:810735403

6 實現邏輯

  • 通過 Requests 發起 HTTP 請求，獲取『美女』下的部分討論列表
  • 通過 lxml 解析抓取到的每個討論中 HTML，獲取其中所有的 img 標籤相應的 src 屬性
  • 通過 Requests 發起 HTTP 請求，下載 src 屬性指向圖片（不考慮動圖）
  • 通過 AipFace 請求對圖片進行人臉檢測
  • 判斷是否檢測到人臉，並使用 『4 檢測過濾條件』過濾
  • 將過濾後的圖片持久化到本地檔案系統，檔名為 顏值 + 作者 + 問題名 + 序號
  • 返回第一步，繼續

7 抓取結果

直接存放在資料夾中（angelababy 實力出境）。另外說句，目前抓下來的圖片，除 baby 外，88 分是最高分。個人對其中的排序表示反對，老婆竟然不是最高分
在這裡插入圖片描述
在這裡插入圖片描述
在這裡插入圖片描述
在這裡插入圖片描述
8 程式碼

  • 8.1 直接使用 百度雲 Python-SDK 程式碼 —— 已移除
  • 8.2不使用 SDK，直接構造 HTTP 請求版本。直接使用這個版本有個好處，就是不依賴於 SDK 的版本（百度雲現在有兩個版本的介面 —— V2 和 V3。現階段，百度雲同時支援兩種介面，所以直接使用 SDK 是沒問題的。等以後哪一天百度不支援 V2 了，就務必升級
    SDK 或使用這個直接構造 HTTP 版本）
   #coding: utf-8

import time
import os
import re

import requests
from lxml import etree

from aip import AipFace

#百度雲 人臉檢測 申請資訊
#唯一必須填的資訊就這三行
APP_ID = "xxxxxxxx"
API_KEY = "xxxxxxxxxxxxxxxxxxxxxxxx"
SECRET_KEY = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"

# 檔案存放目錄名，相對於當前目錄
DIR = "image"
# 過濾顏值閾值，儲存空間大的請隨意
BEAUTY_THRESHOLD = 45

#瀏覽器中開啟知乎，在開發者工具複製一個，無需登入
#如何替換該值下文有講述
AUTHORIZATION = "oauth c3cef7c66a1843f8b3a9e6a1e3160e20"

#以下皆無需改動

#每次請求知乎的討論列表長度，不建議設定太長，注意節操
LIMIT = 5

#這是話題『美女』的 ID，其是『顏值』（20013528）的父話題
SOURCE = "19552207"

#爬蟲假裝下正常瀏覽器請求
USER_AGENT = "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/534.55.3 (KHTML, like Gecko) Version/5.1.5 Safari/534.55.3"
#爬蟲假裝下正常瀏覽器請求
REFERER = "https://www.zhihu.com/topic/%s/newest" % SOURCE
#某話題下討論列表請求 url
BASE_URL = "https://www.zhihu.com/api/v4/topics/%s/feeds/timeline_activity"
#初始請求 url 附帶的請求引數
URL_QUERY = "?include=data%5B%3F%28target.type%3Dtopic_sticky_module%29%5D.target.data%5B%3F%28target.type%3Danswer%29%5D.target.content%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%3Bdata%5B%3F%28target.type%3Dtopic_sticky_module%29%5D.target.data%5B%3F%28target.type%3Danswer%29%5D.target.is_normal%2Ccomment_count%2Cvoteup_count%2Ccontent%2Crelevant_info%2Cexcerpt.author.badge%5B%3F%28type%3Dbest_answerer%29%5D.topics%3Bdata%5B%3F%28target.type%3Dtopic_sticky_module%29%5D.target.data%5B%3F%28target.type%3Darticle%29%5D.target.content%2Cvoteup_count%2Ccomment_count%2Cvoting%2Cauthor.badge%5B%3F%28type%3Dbest_answerer%29%5D.topics%3Bdata%5B%3F%28target.type%3Dtopic_sticky_module%29%5D.target.data%5B%3F%28target.type%3Dpeople%29%5D.target.answer_count%2Carticles_count%2Cgender%2Cfollower_count%2Cis_followed%2Cis_following%2Cbadge%5B%3F%28type%3Dbest_answerer%29%5D.topics%3Bdata%5B%3F%28target.type%3Danswer%29%5D.target.content%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%3Bdata%5B%3F%28target.type%3Danswer%29%5D.target.author.badge%5B%3F%28type%3Dbest_answerer%29%5D.topics%3Bdata%5B%3F%28target.type%3Darticle%29%5D.target.content%2Cauthor.badge%5B%3F%28type%3Dbest_answerer%29%5D.topics%3Bdata%5B%3F%28target.type%3Dquestion%29%5D.target.comment_count&limit=" + str(LIMIT)

#指定 url，獲取對應原始內容 / 圖片
def fetch_image(url):
    try:
        headers = {
                "User-Agent": USER_AGENT,
                "Referer": REFERER,
                "authorization": AUTHORIZATION
                }
        s = requests.get(url, headers=headers)
    except Exception as e:
        print("fetch last activities fail. " + url)
        raise e

    return s.content

#指定 url，獲取對應 JSON 返回 / 話題列表
def fetch_activities(url):
    try:
        headers = {
                "User-Agent": USER_AGENT,
                "Referer": REFERER,
                "authorization": AUTHORIZATION
                }
        s = requests.get(url, headers=headers)
    except Exception as e:
        print("fetch last activities fail. " + url)
        raise e

    return s.json()

#處理返回的話題列表
def process_activities(datums, face_detective):
    for data in datums["data"]:

        target = data["target"]
        if "content" not in target or "question" not in target or "author" not in target:
            continue

        #解析列表中每一個元素的內容
        html = etree.HTML(target["content"])

        seq = 0

        #question_url = target["question"]["url"]
        question_title = target["question"]["title"]

        author_name = target["author"]["name"]
        #author_id = target["author"]["url_token"]

        print("current answer: " + question_title + " author: " + author_name)

        #獲取所有圖片地址
        images = html.xpath("//img/@src")
        for image in images:
            if not image.startswith("http"):
                continue
            s = fetch_image(image)
            
            #請求人臉檢測服務
            scores = face_detective(s)

            for score in scores:
                filename = ("%d--" % score) + author_name + "--" + question_title + ("--%d" % seq) + ".jpg"
                filename = re.sub(r'(?u)[^-\w.]', '_', filename)
                #注意檔名的處理，不同平臺的非法字元不一樣，這裡只做了簡單處理，特別是 author_name / question_title 中的內容
                seq = seq + 1
                with open(os.path.join(DIR, filename), "wb") as fd:
                    fd.write(s)

            #人臉檢測 免費，但有 QPS 限制
            time.sleep(2)

    if not datums["paging"]["is_end"]:
        #獲取後續討論列表的請求 url
        return datums["paging"]["next"]
    else:
        return None

def get_valid_filename(s):
    s = str(s).strip().replace(' ', '_')
    return re.sub(r'(?u)[^-\w.]', '_', s)

import base64
def detect_face(image, token):
    try:
        URL = "https://aip.baidubce.com/rest/2.0/face/v3/detect"
        params = {
                "access_token": token
                }
        data = {
                "face_field": "age,gender,beauty,qualities",
                "image_type": "BASE64",
                "image": base64.b64encode(image)
                }
        s = requests.post(URL, params=params, data=data)
        return s.json()["result"]
    except Exception as e:
        print("detect face fail. " + url)
        raise e

def fetch_auth_token(api_key, secret_key):
    try:
        URL = "https://aip.baidubce.com/oauth/2.0/token"
        params = {
                "grant_type": "client_credentials",
                "client_id": api_key,
                "client_secret": secret_key
                }
        s = requests.post(URL, params=params)
        return s.json()["access_token"]
    except Exception as e:
        print("fetch baidu auth token fail. " + url)
        raise e

def init_face_detective(app_id, api_key, secret_key):
    # client = AipFace(app_id, api_key, secret_key)
    # 百度雲 V3 版本介面，需要先獲取 access token   
    token = fetch_auth_token(api_key, secret_key)
    def detective(image):
        #r = client.detect(image, options)
        # 直接使用 HTTP 請求
        r = detect_face(image, token)
        #如果沒有檢測到人臉
        if r is None or r["face_num"] == 0:
            return []

        scores = []
        for face in r["face_list"]:
            #人臉置信度太低
            if face["face_probability"] < 0.6:
                continue
            #顏值低於閾值
            if face["beauty"] < BEAUTY_THRESHOLD:
                continue
            #性別非女性
            if face["gender"]["type"] != "female":
                continue
            scores.append(face["beauty"])

        return scores

    return detective

def init_env():
    if not os.path.exists(DIR):
        os.makedirs(DIR)

init_env()
face_detective = init_face_detective(APP_ID, API_KEY, SECRET_KEY)

url = BASE_URL % SOURCE + URL_QUERY
while url is not None:
    print("current url: " + url)
    datums = fetch_activities(url)
    url = process_activities(datums, face_detective)
    #注意節操，爬蟲休息間隔不要調小
    time.sleep(5)


# vim: set ts=4 sw=4 sts=4 tw=100 et:

9 執行準備

  • 安裝 Python 3，Download Python
  • 安裝 requests、lxml、baidu-aip 庫，都可以通過 pip 安裝，一行命令
  • 申請百度雲檢測服務，免費。人臉識別-百度AI
    在這裡插入圖片描述
    在這裡插入圖片描述
    在這裡插入圖片描述
    將 AppID ApiKek SecretKey 填寫到 程式碼 中
  • （可選）配置自定義資訊，如圖片儲存目錄、顏值閾值、人臉置信度等
  • （可選）若請求知乎失敗，返回如下。需填寫
    AUTHORIZATION，可從開發者工具中獲取（如下圖，換了幾個瀏覽器，目前沒登入情況該值都是一樣的。知乎對爬蟲的態度比較開放，不知道後續是否會更換）
{
    "error": {
        "message": "ZERR_NO_AUTH_TOKEN",
        "code": 100,
        "name": "AuthenticationInvalidRequest"
    }
}

在這裡插入圖片描述
Chrome 瀏覽器；找一個知乎連結點進去，開啟開發者工具，檢視 HTTP 請求 header；無需登入

 - 執行 ^*^

10 結語

因是人臉檢測，所以可能有些福利會被篩掉。百度影像識別 API 還有一個叫做色情識別。這個 API 可以識別不可描述以及性感指數程度，可以用這個 API 來找福利

https://cloud.baidu.com/product/imagecensoring

  • 如果實在不想申請百度雲服務，可以直接把人臉檢測部分註釋掉，當做單純的爬蟲使用
  • 人臉檢測部分可以替換成其他廠商服務或者本地模型，這裡用百度雲是因為它不要錢
  • 抓了幾千張照片，效果還是挺不錯的。有興趣可以把程式碼貼下來跑跑試試
  • 這邊文章只是基礎爬蟲 + 資料過濾來獲取較高質量資料的示例，希望有興趣者可以 run
    下，程式碼裡有很多地方可以很容易的修改，從最簡單的資料來源話題變更、抓取資料欄位增加和刪除到圖片過濾條件修改都很容易。如果再稍微花費時間，變更為抓取某人動態（比如輪子哥，資料質量很高）、探索
    HTTP 請求中哪些 header 和 query
    是必要的，文中程式碼都只需要非常區域性性的修改。至於人臉探測，或者其他機器學習介面，可以提供非常多的功能用於資料過濾，但哪些過濾是具備高可靠性，可信賴的且具備可用性，這個大概是經驗和反覆試驗，這就是額外的話題了；順便希望大家有良好的編碼習慣
  • 最後再次宣告，顏值得分以及性別過濾存在 bad case，請勿認真對待

在這裡還是要推薦下我自己建的Python開發學習群:810735403，群裡都是學Python開發的，如果你正在學習Python ，歡迎你加入，大家都是軟體開發黨，不定期分享乾貨（只有Python軟體開發相關的），包括我自己整理的一份2020最新的Python進階資料和高階開發教程，歡迎進階中和進想深入Python的小夥伴！

相關文章