Python 爬蟲 + 人臉檢測 —— 知乎高顏值圖片抓取

程式設計師小白04發表於2020-12-21

1 資料來源

知乎 話題『美女』下所有問題中回答所出現的圖片

2 抓取工具

Python 3,並使用第三方庫 Requests、lxml、AipFace,程式碼共 100 + 行

3 必要環境

Mac / Linux / Windows (Linux 沒測過,理論上可以。Windows 之前較多反應出現異常,後查是 windows 對本地檔名中的字元做了限制,已使用正則過濾),無需登入知乎(即無需提供知乎帳號密碼),人臉檢測服務需要一個百度雲帳號(即百度網盤 / 貼吧帳號)

4 人臉檢測庫

AipFace,由百度雲 AI 開放平臺提供,是一個可以進行人臉檢測的 Python SDK。可以直接通過 HTTP 訪問,免費使用

http://ai.baidu.com/ai-doc/FACE/fk3co86lr

5 檢測過濾條件

  • 過濾所有未出現人臉圖片(比如風景圖、未露臉身材照等)
  • 過濾所有非女性(在抓取中,發現知乎男性圖片基本是明星,故不考慮;存在 AipFace 性別識別不準的情況)
  • 過濾所有非真實人物,比如動漫人物 (AipFace Human 置信度小於 0.6)
  • 過濾所有顏值評分較低圖片(AipFace beauty 屬性小於 45,為了節省儲存空間;再次宣告,AipFace 評分無任何客觀性)

在這裡還是要推薦下我自己建的Python開發學習群:810735403

6 實現邏輯

  • 通過 Requests 發起 HTTP 請求,獲取『美女』下的部分討論列表
  • 通過 lxml 解析抓取到的每個討論中 HTML,獲取其中所有的 img 標籤相應的 src 屬性
  • 通過 Requests 發起 HTTP 請求,下載 src 屬性指向圖片(不考慮動圖)
  • 通過 AipFace 請求對圖片進行人臉檢測
  • 判斷是否檢測到人臉,並使用 『4 檢測過濾條件』過濾
  • 將過濾後的圖片持久化到本地檔案系統,檔名為 顏值 + 作者 + 問題名 + 序號
  • 返回第一步,繼續

7 抓取結果

直接存放在資料夾中(angelababy 實力出境)。另外說句,目前抓下來的圖片,除 baby 外,88 分是最高分。個人對其中的排序表示反對,老婆竟然不是最高分
在這裡插入圖片描述
在這裡插入圖片描述
在這裡插入圖片描述
在這裡插入圖片描述
8 程式碼

  • 8.1 直接使用 百度雲 Python-SDK 程式碼 —— 已移除
  • 8.2不使用 SDK,直接構造 HTTP 請求版本。直接使用這個版本有個好處,就是不依賴於 SDK 的版本(百度雲現在有兩個版本的介面 —— V2 和 V3。現階段,百度雲同時支援兩種介面,所以直接使用 SDK 是沒問題的。等以後哪一天百度不支援 V2 了,就務必升級
    SDK 或使用這個直接構造 HTTP 版本)
   #coding: utf-8

import time
import os
import re

import requests
from lxml import etree

from aip import AipFace

#百度雲 人臉檢測 申請資訊
#唯一必須填的資訊就這三行
APP_ID = "xxxxxxxx"
API_KEY = "xxxxxxxxxxxxxxxxxxxxxxxx"
SECRET_KEY = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"

# 檔案存放目錄名,相對於當前目錄
DIR = "image"
# 過濾顏值閾值,儲存空間大的請隨意
BEAUTY_THRESHOLD = 45

#瀏覽器中開啟知乎,在開發者工具複製一個,無需登入
#如何替換該值下文有講述
AUTHORIZATION = "oauth c3cef7c66a1843f8b3a9e6a1e3160e20"

#以下皆無需改動

#每次請求知乎的討論列表長度,不建議設定太長,注意節操
LIMIT = 5

#這是話題『美女』的 ID,其是『顏值』(20013528)的父話題
SOURCE = "19552207"

#爬蟲假裝下正常瀏覽器請求
USER_AGENT = "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/534.55.3 (KHTML, like Gecko) Version/5.1.5 Safari/534.55.3"
#爬蟲假裝下正常瀏覽器請求
REFERER = "https://www.zhihu.com/topic/%s/newest" % SOURCE
#某話題下討論列表請求 url
BASE_URL = "https://www.zhihu.com/api/v4/topics/%s/feeds/timeline_activity"
#初始請求 url 附帶的請求引數
URL_QUERY = "?include=data%5B%3F%28target.type%3Dtopic_sticky_module%29%5D.target.data%5B%3F%28target.type%3Danswer%29%5D.target.content%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%3Bdata%5B%3F%28target.type%3Dtopic_sticky_module%29%5D.target.data%5B%3F%28target.type%3Danswer%29%5D.target.is_normal%2Ccomment_count%2Cvoteup_count%2Ccontent%2Crelevant_info%2Cexcerpt.author.badge%5B%3F%28type%3Dbest_answerer%29%5D.topics%3Bdata%5B%3F%28target.type%3Dtopic_sticky_module%29%5D.target.data%5B%3F%28target.type%3Darticle%29%5D.target.content%2Cvoteup_count%2Ccomment_count%2Cvoting%2Cauthor.badge%5B%3F%28type%3Dbest_answerer%29%5D.topics%3Bdata%5B%3F%28target.type%3Dtopic_sticky_module%29%5D.target.data%5B%3F%28target.type%3Dpeople%29%5D.target.answer_count%2Carticles_count%2Cgender%2Cfollower_count%2Cis_followed%2Cis_following%2Cbadge%5B%3F%28type%3Dbest_answerer%29%5D.topics%3Bdata%5B%3F%28target.type%3Danswer%29%5D.target.content%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%3Bdata%5B%3F%28target.type%3Danswer%29%5D.target.author.badge%5B%3F%28type%3Dbest_answerer%29%5D.topics%3Bdata%5B%3F%28target.type%3Darticle%29%5D.target.content%2Cauthor.badge%5B%3F%28type%3Dbest_answerer%29%5D.topics%3Bdata%5B%3F%28target.type%3Dquestion%29%5D.target.comment_count&limit=" + str(LIMIT)

#指定 url,獲取對應原始內容 / 圖片
def fetch_image(url):
    try:
        headers = {
                "User-Agent": USER_AGENT,
                "Referer": REFERER,
                "authorization": AUTHORIZATION
                }
        s = requests.get(url, headers=headers)
    except Exception as e:
        print("fetch last activities fail. " + url)
        raise e

    return s.content

#指定 url,獲取對應 JSON 返回 / 話題列表
def fetch_activities(url):
    try:
        headers = {
                "User-Agent": USER_AGENT,
                "Referer": REFERER,
                "authorization": AUTHORIZATION
                }
        s = requests.get(url, headers=headers)
    except Exception as e:
        print("fetch last activities fail. " + url)
        raise e

    return s.json()

#處理返回的話題列表
def process_activities(datums, face_detective):
    for data in datums["data"]:

        target = data["target"]
        if "content" not in target or "question" not in target or "author" not in target:
            continue

        #解析列表中每一個元素的內容
        html = etree.HTML(target["content"])

        seq = 0

        #question_url = target["question"]["url"]
        question_title = target["question"]["title"]

        author_name = target["author"]["name"]
        #author_id = target["author"]["url_token"]

        print("current answer: " + question_title + " author: " + author_name)

        #獲取所有圖片地址
        images = html.xpath("//img/@src")
        for image in images:
            if not image.startswith("http"):
                continue
            s = fetch_image(image)
            
            #請求人臉檢測服務
            scores = face_detective(s)

            for score in scores:
                filename = ("%d--" % score) + author_name + "--" + question_title + ("--%d" % seq) + ".jpg"
                filename = re.sub(r'(?u)[^-\w.]', '_', filename)
                #注意檔名的處理,不同平臺的非法字元不一樣,這裡只做了簡單處理,特別是 author_name / question_title 中的內容
                seq = seq + 1
                with open(os.path.join(DIR, filename), "wb") as fd:
                    fd.write(s)

            #人臉檢測 免費,但有 QPS 限制
            time.sleep(2)

    if not datums["paging"]["is_end"]:
        #獲取後續討論列表的請求 url
        return datums["paging"]["next"]
    else:
        return None

def get_valid_filename(s):
    s = str(s).strip().replace(' ', '_')
    return re.sub(r'(?u)[^-\w.]', '_', s)

import base64
def detect_face(image, token):
    try:
        URL = "https://aip.baidubce.com/rest/2.0/face/v3/detect"
        params = {
                "access_token": token
                }
        data = {
                "face_field": "age,gender,beauty,qualities",
                "image_type": "BASE64",
                "image": base64.b64encode(image)
                }
        s = requests.post(URL, params=params, data=data)
        return s.json()["result"]
    except Exception as e:
        print("detect face fail. " + url)
        raise e

def fetch_auth_token(api_key, secret_key):
    try:
        URL = "https://aip.baidubce.com/oauth/2.0/token"
        params = {
                "grant_type": "client_credentials",
                "client_id": api_key,
                "client_secret": secret_key
                }
        s = requests.post(URL, params=params)
        return s.json()["access_token"]
    except Exception as e:
        print("fetch baidu auth token fail. " + url)
        raise e

def init_face_detective(app_id, api_key, secret_key):
    # client = AipFace(app_id, api_key, secret_key)
    # 百度雲 V3 版本介面,需要先獲取 access token   
    token = fetch_auth_token(api_key, secret_key)
    def detective(image):
        #r = client.detect(image, options)
        # 直接使用 HTTP 請求
        r = detect_face(image, token)
        #如果沒有檢測到人臉
        if r is None or r["face_num"] == 0:
            return []

        scores = []
        for face in r["face_list"]:
            #人臉置信度太低
            if face["face_probability"] < 0.6:
                continue
            #顏值低於閾值
            if face["beauty"] < BEAUTY_THRESHOLD:
                continue
            #性別非女性
            if face["gender"]["type"] != "female":
                continue
            scores.append(face["beauty"])

        return scores

    return detective

def init_env():
    if not os.path.exists(DIR):
        os.makedirs(DIR)

init_env()
face_detective = init_face_detective(APP_ID, API_KEY, SECRET_KEY)

url = BASE_URL % SOURCE + URL_QUERY
while url is not None:
    print("current url: " + url)
    datums = fetch_activities(url)
    url = process_activities(datums, face_detective)
    #注意節操,爬蟲休息間隔不要調小
    time.sleep(5)


# vim: set ts=4 sw=4 sts=4 tw=100 et:

9 執行準備

  • 安裝 Python 3,Download Python
  • 安裝 requests、lxml、baidu-aip 庫,都可以通過 pip 安裝,一行命令
  • 申請百度雲檢測服務,免費。人臉識別-百度AI
    在這裡插入圖片描述
    在這裡插入圖片描述
    在這裡插入圖片描述
    將 AppID ApiKek SecretKey 填寫到 程式碼 中
  • (可選)配置自定義資訊,如圖片儲存目錄、顏值閾值、人臉置信度等
  • (可選)若請求知乎失敗,返回如下。需填寫
    AUTHORIZATION,可從開發者工具中獲取(如下圖,換了幾個瀏覽器,目前沒登入情況該值都是一樣的。知乎對爬蟲的態度比較開放,不知道後續是否會更換)
{
    "error": {
        "message": "ZERR_NO_AUTH_TOKEN",
        "code": 100,
        "name": "AuthenticationInvalidRequest"
    }
}

在這裡插入圖片描述
Chrome 瀏覽器;找一個知乎連結點進去,開啟開發者工具,檢視 HTTP 請求 header;無需登入

 - 執行 ^*^

10 結語

因是人臉檢測,所以可能有些福利會被篩掉。百度影像識別 API 還有一個叫做色情識別。這個 API 可以識別不可描述以及性感指數程度,可以用這個 API 來找福利

https://cloud.baidu.com/product/imagecensoring

  • 如果實在不想申請百度雲服務,可以直接把人臉檢測部分註釋掉,當做單純的爬蟲使用
  • 人臉檢測部分可以替換成其他廠商服務或者本地模型,這裡用百度雲是因為它不要錢
  • 抓了幾千張照片,效果還是挺不錯的。有興趣可以把程式碼貼下來跑跑試試
  • 這邊文章只是基礎爬蟲 + 資料過濾來獲取較高質量資料的示例,希望有興趣者可以 run
    下,程式碼裡有很多地方可以很容易的修改,從最簡單的資料來源話題變更、抓取資料欄位增加和刪除到圖片過濾條件修改都很容易。如果再稍微花費時間,變更為抓取某人動態(比如輪子哥,資料質量很高)、探索
    HTTP 請求中哪些 header 和 query
    是必要的,文中程式碼都只需要非常區域性性的修改。至於人臉探測,或者其他機器學習介面,可以提供非常多的功能用於資料過濾,但哪些過濾是具備高可靠性,可信賴的且具備可用性,這個大概是經驗和反覆試驗,這就是額外的話題了;順便希望大家有良好的編碼習慣
  • 最後再次宣告,顏值得分以及性別過濾存在 bad case,請勿認真對待

在這裡還是要推薦下我自己建的Python開發學習群:810735403,群裡都是學Python開發的,如果你正在學習Python ,歡迎你加入,大家都是軟體開發黨,不定期分享乾貨(只有Python軟體開發相關的),包括我自己整理的一份2020最新的Python進階資料和高階開發教程,歡迎進階中和進想深入Python的小夥伴!

相關文章