爬蟲永不停息
最近改進上一篇的爬蟲，不爬豆瓣了，改爬一爬京東評論，先放幾張圖研究看看先。
研究了一下，發現商品的id就是連結.html前面的數字。我們把它複製貼上下拉
1,對上一篇的代表進行修改和新增
class Spider():
def __init__(self):
# score:1為差評；2為中評；3為好評，0為所有評論
# 這連結是京東jsonp回撥的資料，我們要給這連結加上商品id和評論頁碼。
self.start_url = 'https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv30672&productId={}&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&rid=0&fold=1'
# 新增一個新的佇列
self.pageQurl = Queue()
# 上一篇是list，現在是dict
self.data = dict()
複製程式碼2，修改上一篇整個 parse_first函式
def parse_first(self):
if not self.qurl.empty():
goodsid = self.qurl.get()
url = self.start_url.format(goodsid,1)
print('parse_first',url)
try:
r = requests.get(url, headers={'User-Agent': random.choice(self.user_agent)},proxies=self.notproxy,verify=False)
# 編碼格式是GBK，不是UTF-8
r.encoding = 'GBK'
if r.status_code == 200:
# 對回撥回來的資料進行處理
res = r.text.replace('fetchJSON_comment98vv30672(', '').replace(');', '').replace('false', '0').replace('true','1')
res = json.loads(res)
lastPage = int(res['maxPage'])
# 爬1-5頁評論
for i in range(lastPage)[1:5]:
temp = str(goodsid)+ ',' + str(i)
self.pageQurl.put(temp)
arr = []
for j in res['hotCommentTagStatistics']:
arr.append({'name':j['name'],'count':j['count']})
self.data[str(goodsid)] = {
'hotCommentTagStatistics':arr,
'poorCountStr':res['productCommentSummary']['poorCountStr'],
'generalCountStr': res['productCommentSummary']['generalCountStr'],
'goodCountStr': res['productCommentSummary']['goodCountStr'],
'goodRate': res['productCommentSummary']['goodRate'],
'comments': []
}
self.parse_first()
else:
self.first_running = False
print('ip被遮蔽')
except:
self.first_running = False
print('代理ip代理失敗')
else:
self.first_running = False
複製程式碼3，修改上一篇整個 parse_second函式
def parse_second(self):
while self.first_running or not self.pageQurl.empty():
if not self.pageQurl.empty():
arr = self.pageQurl.get().split(',')
url = self.start_url.format(arr[0],arr[1])
print(url)
try:
r = requests.get(url,headers={'User-Agent': random.choice(self.user_agent)},proxies=self.notproxy,verify=False)
r.encoding = 'GBK'
if r.status_code == 200:
res = r.text.replace('fetchJSON_comment98vv30672(', '').replace(');', '').replace('false','0').replace('true', '1')
try:
res = json.loads(res)
for i in res['comments']:
images = []
videos = []
# 記錄使用者的評論圖片與視訊
if i.get('images'):
for j in i['images']:
images.append({'imgUrl': j['imgUrl']})
if i.get('videos'):
for k in i['videos']:
videos.append({'mainUrl': k['mainUrl'], 'remark': k['remark']})
# 記錄使用者的詳細資料
mydict = {
'referenceName': i['referenceName'],
'content': i['content'],
'creationTime': i['creationTime'],
'score': i['score'],
'userImage': i['userImage'],
'nickname': i['nickname'],
'userLevelName': i['userLevelName'],
'productColor': i['productColor'],
'productSize': i['productSize'],
'userClientShow': i['userClientShow'],
'images': images,
'videos': videos
}
self.data[arr[0]]['comments'].append(mydict)
# 執行緒隨機休眠
time.sleep(random.random() * 5)
except:
print('無法編譯成物件',res)
except Exception as e:
print('獲取失敗',str(e))
複製程式碼4，修改一部分run函式，
@run_time
def run(self):
# 爬京東商品的ID，用陣列對它們進行存放
goodslist = ['6784500','31426982482','7694047']
for i in goodslist:
self.qurl.put(i)
ths = []
th1 = Thread(target=self.parse_first, args=())
th1.start()
ths.append(th1)
for _ in range(self.thread_num):
th = Thread(target=self.parse_second)
th.start()
ths.append(th)
for th in ths:
# 等待執行緒終止
th.join()
s = json.dumps(self.data, ensure_ascii=False, indent=4)
with open('jdComment.json', 'w', encoding='utf-8') as f:
f.write(s)
print('Data crawling is finished.')
複製程式碼5，最後爬出來的資料是，這只是部分程式碼，對上一篇程式碼進行替換即可執行。
京東原版資料：
爬出來的資料格式：
京東原版評論：
爬出來的資料格式：
下面是個人寫的小程式，資料也是爬蟲得來的，希望大家看看，給點意見。