xbox series和ps5發售以來,國內黃牛價格一直居高不下。雖然海外amazon上ps5補貨很少而且基本撐不過一分鐘,但是xbox series系列明顯要好搶很多。
日亞、德亞的xbox series x/s都可以直郵中國大陸,所以我們只需要藉助指令碼,監控相關網頁的動態,在補貨的第一時刻通過微信告知我們,然後迅速人工購買即可!
需求:pushplus(需要微信關注公眾號)、python3
一、pushplus相關介紹
pushplus提供了免費的微信訊息推送api,具體內容可以參考他的官網:pushplus(推送加)微信推送訊息直達 (hxtrip.com)
我們需要用到的東西有,登陸後的個人Token(用於精準推送訊息),如圖:
呼叫該介面可使用如下程式碼,token為上面提到的你個人的token,titile對應推送標題,content對應推送內容,此程式碼借鑑了官方demo
def post_push(token, title, content): url = 'http://pushplus.hxtrip.com/send' data = { "token": token, "title": title, "content": content } body = json.dumps(data).encode(encoding='utf-8') headers = {'Content-Type': 'application/json'} requests.post(url, data=body, headers=headers)
二、整體思路
不出意外的話,你在編寫程式碼時,amazon應該處於無貨狀態(有貨直接就買了啊喂)!!!我們在此時開啟amazon頁面,可以看到如下介面:
在新版Edge瀏覽器或者chrome下,按F12檢視網頁原始碼,選定中間Currently unavailable標識的區域(五顆星下面那個,最好覆蓋範圍大一點),能看到程式碼如下:
有一個比較簡單的辦法,判斷amazon是否有補貨。我們可以抓取這一部分的html原始碼,存進一個檔案裡(txt即可)。每過一定時間,重新抓取原始碼,如果這些原始碼變化了,那麼基本上是網站更新了(補貨了)。不過有個小瑕疵,這種補貨也可能是亞馬遜第三方(黃牛)補貨- -
不過總歸是有了一個判斷上新的方法嘛;其實黃牛補貨很少的,德亞上好像看不到黃牛(我個人沒見過德亞上的第三方賣xsx的),日亞上基本沒有啥黃牛賣xbox
好了,接下來,我們看看如何實現相關功能
三、Requests+BeautifulSoup獲取相關html原始碼
我們使用Requests+BeautfifulSoup來抓取<div id = 'availability_feature_div> </div>這個標籤內部的所有html原始碼
1 headers = { 2 "User-Agent": "Mozilla/5.0 (Linux; Android 9; SM-A102U) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.93 Mobile Safari/537.36", 3 'Content-Type': 'application/json' 4 } 5 html = requests.get(url=self.url, headers=headers) 6 soup = BeautifulSoup(html.text, 'lxml') 7 html.close() 8 target = str(soup.find('div', id='availability_feature_div'))
注意如果不加headers的話,amazon會檢測到爬蟲,不會給你返回完整html程式碼。第7行把requests給close掉是因為,我在監測時開了兩個執行緒同時檢測日亞和德亞,如果不加這一句的話,會被amazon認為是我在攻擊網站,會拒絕我的網路訪問
最終的target是被轉為str格式的相應html原始碼,接下來只需要將其儲存到檔案,每隔一定時間再次爬蟲比對就行了
四、完整程式碼
1 import json 2 import requests 3 from bs4 import BeautifulSoup 4 import filecmp 5 import time 6 import threading 7 8 9 class listenThread(threading.Thread): 10 def __init__(self, url, originFile, newFile, content): 11 threading.Thread.__init__(self) 12 self.url = url 13 self.originFile = originFile 14 self.newFile = newFile 15 self.content = content 16 17 def listen(self): 18 headers = { 19 "User-Agent": "Mozilla/5.0 (Linux; Android 9; SM-A102U) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.93 Mobile Safari/537.36", 20 'Content-Type': 'application/json' 21 } 22 html = requests.get(url=self.url, headers=headers) 23 soup = BeautifulSoup(html.text, 'lxml') 24 html.close() 25 target = str(soup.find('div', id='availability_feature_div')) 26 filetxt = open(self.originFile, 'w', encoding='utf-8') 27 filetxt.write(target) 28 filetxt.close() 29 while True: 30 target = str(soup.find('div', id='availability_feature_div')) 31 filetxt = open(self.newFile, 'w', encoding='utf-8') 32 filetxt.write(target) 33 filetxt.close() 34 if filecmp.cmp(self.originFile, self.newFile) == False: 35 post_push('這裡輸你自己的token', 'xbox update', self.content) 36 fileAvail = open(self.originFile, 'w') 37 fileAvail.write(target) 38 fileAvail.close() 39 time.sleep(30) 40 def run(self): 41 self.listen() 42 43 44 def post_push(token, title, content): 45 url = 'http://pushplus.hxtrip.com/send' 46 data = { 47 "token": token, 48 "title": title, 49 "content": content 50 } 51 body = json.dumps(data).encode(encoding='utf-8') 52 headers = {'Content-Type': 'application/json'} 53 requests.post(url, data=body, headers=headers) 54 55 56 if __name__ == '__main__': 57 detect_url = 'https://www.amazon.co.jp/-/en/dp/B08GGKZ34Z/ref=sr_1_2?dchild=1&keywords=xbox&qid=1611674118&sr=8-2' 58 #url_special = 'https://www.amazon.co.jp/-/en/dp/B08GG17K5G/ref=sr_1_6?dchild=1&keywords=xbox%E3%82%B7%E3%83%AA%E3%83%BC%E3%82%BAx&qid=1611722050&sr=8-6' 59 url_germany = 'https://www.amazon.de/Microsoft-RRT-00009-Xbox-Series-1TB/dp/B08H93ZRLL/ref=sr_1_2?__mk_de_DE=%C3%85M%C3%85%C5%BD%C3%95%C3%91&dchild=1&keywords=xbox&qid=1611742161&sr=8-2' 60 xbox = listenThread(url=detect_url,originFile='avail.txt',newFile='avail_now.txt',content='日亞') 61 #xbox_sp = listenThread(url=detect_url,originFile='avail_sp.txt',newFile='avail_now_sp.txt') 62 xbox_germany = listenThread(url=url_germany,originFile='avail_sp.txt',newFile='avail_now_sp.txt',content='德亞') 63 xbox.start() 64 #xbox_sp.start() 65 xbox_germany.start()
本程式碼開了兩個執行緒分別監控日亞和德亞的xsx,detect_url是日亞連結,url_germany是德亞連結;
注意:德亞能夠直接上,日亞如果你上不去自己想辦法(不能說的東西,你懂的)
裡面OriginFile和NewFile的檔名可以隨意命名,OriginFile指的是之前爬蟲的html,NewFile是新的爬蟲html,如果內容不一樣,就會收到微信訊息推送啦
這個圖只是測試用的,這個時刻日亞也沒有真的補貨哈哈哈
現在是2021.1.27 XSX和PS5都還處於需要搶的階段,祝大家儘早進入次世代哦