爬蟲入門系列(三):用 requests 構建知乎 API

劉志軍發表於2017-04-17

在爬蟲系列文章 優雅的HTTP庫requests 中介紹了 requests 的使用方式,這一次我們用 requests 構建一個知乎 API,功能包括:私信傳送、文章點贊、使用者關注等,因為任何涉及使用者操作的功能都需要登入後才操作,所以在閱讀這篇文章前建議先了解Python模擬知乎登入 。現在假設你已經知道如何用 requests 模擬知乎登入了。

思路分析

傳送私信的過程就是瀏覽器向伺服器傳送一個 HTTP 請求,請求報文包括請求 URL、請求頭 Header、還有請求體 Body,只要把這些資訊弄清楚,那麼就很容易用 requests 來模擬瀏覽器傳送私信了。

開啟 Chrome 瀏覽器,隨便找一個使用者,點選傳送私信,追蹤一下私信的網路請求過程。

先看下請求頭資訊

爬蟲入門系列(三):用 requests 構建知乎 API

請求頭 Header 中有 cookies 登入資訊,此外還有一個 authorization 欄位,該欄位是用於使用者認證的,同時這個欄位也存在 cookies 中(為了防止 cookie 資訊洩露,我打了馬賽克), requests 請求時這些資訊都必須攜帶上。

再來看看請求的URL和請求體

爬蟲入門系列(三):用 requests 構建知乎 API

請求URL是 www.zhihu.com/api/v4/mess… ,請求方法是 POST,請求體

{"type":"common","content":"你好,我是pythoner","receiver_hash":"1da75b85900e00adb072e91c56fd9149"}複製程式碼

請求體是一個 json 字串,type 和 content 很好理解,但 receiver_hash 是什麼並不知道,需要進一步確定,不過你應該猜得出這是類似於使用者 id 的欄位。

那麼現在問題來了,如何通過使用者主頁的URL找到使用者的 id 呢?為了完整的模擬私信的整個流程,我特地註冊了一個知乎小號。

如果你手頭沒有多餘的手機號,可以用 Google 搜「receive sms online」,網上很多提供免費線上接收簡訊的手機號碼,我註冊的小號主頁:www.zhihu.com/people/xiao…

先嚐試關注小號,然後在我關注的列表中找到該小號,把滑鼠移到小號的頭像處時,發現有一個 HTTP 網路請求。

爬蟲入門系列(三):用 requests 構建知乎 API

請求 url 是 www.zhihu.com/api/v4/memb… ,這個URL的後面部分「xiaoxiaodouzi」對應小號主頁URL的後面部分,這部分我們稱之為 url_token。

介面的返回資料是該使用者的個人公開資訊。

{  
   ...
   "id":"1da75b85900e00adb072e91c56fd9149",
   "favorite_count":0,
   "voteup_count":0,
   "commercial_question_count":0,
   "url_token":"xiaoxiaodouzi",
   "type":"people",
   "avatar_url":"https://pic1.zhimg.com/v2-ca13758626bd7367febde704c66249ec_is.jpg",
   "is_active":1492224390,
   "name":"\u6211\u662f\u5c0f\u53f7",
   "url":"http://www.zhihu.com/api/v4/people/1da75b85900e00adb072e91c56fd9149",
   "gender":-1
   ...
}複製程式碼

我們可以很清楚的看到有個id的欄位,跟我們之前猜測的一樣,私信裡面的 receiver_hash 欄位就是使用者的id。

程式碼實現

到此我們把私信功能的思路理清楚了,程式碼實現就是水到渠成的事情了。

使用者資訊

為了得到私信介面需要的 receiver_hash 字典,我們先要獲取使用者資訊,該資訊裡面含有用於的id值。

@need_login
def user(self, url_token):
    """
    獲取使用者資訊,
    :param url_token:
        url_token 是使用者主頁url中後面部分
        例如: https://www.zhihu.com/people/xiaoxiaodouzi
        url_token 是 xiaoxiaodouzi
    :return:dict
    """
    response = self._session.get(URL.profile(url_token))
    return response.json()複製程式碼

傳送私信

@need_login
def send_message(self, user_id, content):
    """
    給指定的使用者發私信
    :param user_id: 使用者ID
    :param content: 私信內容
    """
    data = {"type": "common", "content": content, "receiver_hash": user_id}
    response = self._session.post(URL.message(), json=data)
    data = response.json()
    if data.get("error"):
        self.logger.info("私信傳送失敗, %s" % data.get("error").get("message"))
    else:
        self.logger.info("傳送成功")
    return data複製程式碼

上面兩個方法放在一個叫Zhihu的類裡面,我只列出了關鍵程式碼,涉及到的 @need_login 是一個使用者認證的裝飾器,表示該方法需要登入後才能操作。細心的你可能發現,每個請求中我並沒有顯示地指定 Header 欄位,那時因為我把它放在 __init__.py 方法中初始化了。

def __init__(self):
    self._session = requests.session()
    self._session.verify = False
    self._session.headers = {"Host": "www.zhihu.com",
                             "Referer": "https://www.zhihu.com/",
                             'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36'
                                           ' (KHTML, like Gecko) Chrome/56.0.2924.87',
                             }
    self._session.cookies = cookiejar.LWPCookieJar(filename=cookie_filename)
    try:
        self._session.cookies.load(ignore_discard=True)
    except:
        pass複製程式碼

呼叫執行

from zhihu import Zhihu

if __name__ == '__main__':
    zhihu = Zhihu()
    profile = zhihu.user("xiaoxiaodouzi")
    _id = profile.get("id")
    zhihu.send_message(_id, "你好,這是來自Python之禪的問候")複製程式碼

執行完成後,小號成功收到我傳送的私信。

爬蟲入門系列(三):用 requests 構建知乎 API

最後,我們可以按照類似的思路把關注使用者,點贊等功能實現了。原始碼地址:github.com/lzjun567/zh…,歡迎大家 Fork 貢獻程式碼,一起完善。

同步發表部落格:foofish.net/understand-…
公眾號:Python之禪 (id:VTtalk),分享 Python 等技術乾貨

爬蟲入門系列(三):用 requests 構建知乎 API
python之禪

相關文章