aardio爬蟲) 實戰篇：採集自己的公眾號粉絲列表

Python成长路發表於2024-04-29
爬蟲

前言

只有自己封裝庫的時候，才知道造輪子有多累。之前使用Python的時候，基本都只需要import，隨便哪個功能都有人寫好輪子用。不過造輪子也有好處，可以瞭解一些比較基礎的知識。

其實aardio也有很多已經造好的輪子可以用，只是因為只有作者在維護，而且沒有一個活躍的社群，所以很多方面有些缺失，比如爬蟲方面。但是aardio寫一些小工具確實很方便，打包成exe也比較小，所以我來造這個輪子。

文中使用到的aardio庫都可以到github下載：https://github.com/kanadeblisst00/aardio-extlibs

需求說明

之前寫的一個影片號下載工具為了給公眾號漲粉，對接了公眾號後臺，需要給後臺傳送訊息獲取使用碼才能使用。開始使用碼有效期是一天，後面改成了七天。

但有些人還是覺得有點麻煩，想讓我弄成永久。我就怕改成永久後，很多人白嫖完就取關了，那對我也沒什麼好處。所以想用每個人的openid作為永久使用碼，只要填一次，軟體啟動時會連線我的伺服器驗證這個openid對應的使用者有沒有取關。

這樣對於使用者而言就不需要去公眾號後臺傳送訊息這一步驟，可以省點事。不過這對我而言倒是增加了不少工作量。那首先需要一個獲取公眾號粉絲的openid列表的程式。

功能介紹

雖然微信公眾平臺開放了API，但是很多介面訂閱號都用不了，比如獲取粉絲列表，不過我們可以在後臺看到，那用爬蟲也能實現。下面是大概的介面內容：

介面只會顯示當前頁的內容，如果想看全部的資料，可以到當前資料夾下的公眾號粉絲.csv裡檢視。採集的所有資料都會儲存到裡面（注意：如果還在採集你就開啟的話，採集程式將無法儲存到裡面而失敗）

打包後的程式也很小，只有2M多。如果用upx壓縮一下會更小，但是壓縮後更容易報毒，所以我現在基本都不壓縮了。

開源地址

程式碼是完全開源的，你可以在github下載。如果需要編譯好的軟體可以公眾號後臺傳送獲取粉絲列表

https://github.com/kanadeblisst00/CrawlBizUsers

採集思路

微信公眾平臺後臺的介面都沒有加密，只要抓個包就能請求，

用我封裝好的kirequests庫請求如下：

import kirequests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 Edg/124.0.0.0"
}
var session = kirequests.session(headers,,cookies);
var url = "https://mp.weixin.qq.com/cgi-bin/user_tag"
var params = {
	"action": "get_user_list",
	"groupid": -2,
	"limit": 20,
	"offset": 0,
	"token": token,
	"lang": "zh_CN",
	"f": "json",
	"backfoward": 1,
	"ajax": 1,
	"random": "0." + ..string.random(16, "0123456789"),
	"begin_openid": "xxxxxxxxxx",
	"begin_create_time": 11111
}
var resp = session.get(url,params);
var datas = resp.json()

獲取cookies

採集比較麻煩的是cookies的獲取方式。看一些專案獲取cookies的基本都是讓使用者自己填，有的方便一點的會自動獲取瀏覽器的cookies。

如果讓使用者自己填的話會提高使用門檻，如果獲取使用者瀏覽器的cookies又比較麻煩，Python有現成的庫可以做到，aardio還要自己實現，而且獲取使用者cookies這種也比較敏感。

所以我這裡直接開一個瀏覽器，然後訪問微信公眾平臺的登入頁面，讓使用者掃碼登入，然後獲取cookies後自動關閉瀏覽器，開始採集。這樣使用者只需要一個掃碼的過程。

開啟瀏覽器

aardio中開啟瀏覽器有非常多種方式，具體可以看範例-》Web介面：

這裡我選擇web.view來做，這個比較輕量(因為用的系統API，類似安卓的Via那種模式)，它是基於微軟的WebView2，win10和win11系統基本都自帶了這個東西。後面我要實現的瀏覽器驅動程式(類似Python的drissionpage)也是用的這個來實現。

import web.view;

var webView = web.view(winform); 
var url = "https://mp.weixin.qq.com";
webView.go(url);

如果是已經登入的請求，url會跳轉到https://mp.weixin.qq.com/cgi-bin/home，所以這裡只需要迴圈判斷一下連結有沒有變成這個

var doJavasciptCode = function(webView, code){
	var jscode = "(function(){"+code+'\n})()';
	var result;
	webView.doScript(jscode, function(r){
		result = r;
	}
	)
	while(!result){
		win.delay(10);
	}
	return result;
}

var getLoctionHref = function(webView){
	return doJavasciptCode(webView, "return document.location.href;");
}
var curUrl = getLoctionHref(webView);
while(!string.find(curUrl, "@https://mp.weixin.qq.com/cgi-bin/home")){
	win.delay(500);
	curUrl = getLoctionHref(webView);
}

然後開始獲取cookies，獲取到的cookies格式是一個陣列，陣列每個元素都是一個cookie字典，有name、value等欄位。直接將它傳給kirequests即可，不需要做什麼處理

var getCookiesArray = function(webView){
	var result = webView.cdp("Network.getCookies");
	var cookies = result.cookies;
	return cookies
}
var cookies = getCookiesArray(webView);
var session = kirequests.session(,,cookies);

然後只需要一直翻頁就能獲取全部的公眾號粉絲列表了

清除cookies

如果採集完資料，想要刪除webview的cookies，可以刪除C:\Users\使用者名稱\AppData\Local\aardio\webview2\user-data下面的資料夾，這個就是webview預設的快取目錄

本文由部落格一文多發平臺 OpenWrite 釋出！

相關文章