【Python】如何獲取知乎最有價值的內容

一前言
相信大部分能看到這篇blog的人都聽說過知乎吧？如果你沒有聽說過，那麼連結在這裡知乎作為一個知乎er，為了更加深入的理解“xxx 是一種什麼體驗”（的圖片），為了踐行 “技術改變生活”（實則有些wuliao) ，使用requsets 爬取知乎中最優價值的內容，本文字著探索的精神，寫一段獲取內容的python程式。

二踐行

#!/usr/bin/env python
#-*- coding:utf-8 -*-
import re
import requests
import os
from urlparse import urlsplit
from os.path import basename
def getHtml(url):
session = requests.Session()
# 模擬瀏覽器訪問
header = {
'User-Agent': "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36",
'Accept-Encoding': 'gzip, deflate'}
res = session.get(url, headers=header)
if res.status_code == 200:
content = res.content
else:
content = ''
return content
def mkdir(path):
if not os.path.exists(path):
print '新建資料夾:', path
os.makedirs(path)
return True
else:
print u"圖片存放於:", os.getcwd() + os.sep + path
return False
def download_pic(img_lists, dir_name):
print "一共有 {num} 張照片".format(num=len(img_lists))
for image_url in img_lists:
response = requests.get(image_url, stream=True)
if response.status_code == 200:
image = response.content
else:
continue
file_name = dir_name + os.sep + basename(urlsplit(image_url)[2])
try:
with open(file_name, "wb") as picture:
picture.write(image)
except IOError:
print("IO Error\n")
return
finally:
picture.close
print "下載 {pic_name} 完成!".format(pic_name=file_name)
def getAllImg(html):
# 利用正規表示式把原始碼中的圖片地址過濾出來
#reg = r'data-actualsrc="(.*?)">'
reg = r'https://pic\d.zhimg.com/[a-fA-F0-9]{5,32}_\w+.jpg'
imgre = re.compile(reg, re.S)
tmp_list = imgre.findall(html) # 表示在整個網頁中過濾出所有圖片的地址，放在imglist中
# 清理掉頭像和去重獲取data-original的內容
tmp_list = list(set(tmp_list)) # 去重
imglist = []
for item in tmp_list:
if item.endswith('r.jpg'):
img_list.append(item)
print 'num : %d' % (len(imglist))
return imglist
if __name__ == '__main__':
question_id = 35990613
zhihu_url = "https://www.zhihu.com/question/{qid}".format(qid=question_id)
html_content = getHtml(zhihu_url)
path = 'zhihu_pic'
mkdir(path) # 建立本地資料夾
img_list = getAllImg(html_content) # 獲取圖片的地址列表
download_pic(img_list, path) # 儲存圖片

本程式碼還存在一些不足的地方，無法完全獲取全部的圖片，需要在相容自動點選 ”更多“ 載入更多答案。
程式碼第二版解決了第一版程式碼中不能自動載入的問題。

#!/usr/bin/env python
#-*- coding:utf-8 -*-
import re
import requests
import os
from urlparse import urlsplit
from os.path import basename
headers = {
'User-Agent': "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36",
'Accept-Encoding': 'gzip, deflate'}
def mkdir(path):
if not os.path.exists(path):
print '新建資料夾:', path
os.makedirs(path)
return True
else:
print u"圖片存放於:", os.getcwd() + os.sep + path
return False
def download_pic(img_lists, dir_name):
print "一共有 {num} 張照片".format(num=len(img_lists))
for image_url in img_lists:
response = requests.get(image_url, stream=True)
if response.status_code == 200:
image = response.content
else:
continue
file_name = dir_name + os.sep + basename(urlsplit(image_url)[2])
try:
with open(file_name, "wb") as picture:
picture.write(image)
except IOError:
print("IO Error\n")
continue
finally:
picture.close
print "下載 {pic_name} 完成!".format(pic_name=file_name)
def get_image_url(qid, headers):
# 利用正規表示式把原始碼中的圖片地址過濾出來
#reg = r'data-actualsrc="(.*?)">'
tmp_url = "https://www.zhihu.com/node/QuestionAnswerListV2"
size = 10
image_urls = []
session = requests.Session()
# 利用迴圈自動完成需要點選 “更多” 獲取所有答案，每個分頁作為一個answer集合。
while True:
postdata = {'method': 'next', 'params': '{"url_token":' +
str(qid) + ',"pagesize": "10",' + '"offset":' + str(size) + "}"}
page = session.post(tmp_url, headers=headers, data=postdata)
ret = eval(page.text)
answers = ret['msg']
size += 10
if not answers:
print "圖片URL獲取完畢, 頁數: ", (size - 10) / 10
return image_urls
#reg = r'https://pic\d.zhimg.com/[a-fA-F0-9]{5,32}_\w+.jpg'
imgreg = re.compile('data-original="(.*?)"', re.S)
for answer in answers:
tmp_list = []
url_items = re.findall(imgreg, answer)
for item in url_items: # 這裡去掉得到的圖片URL中的轉義字元'\\'
image_url = item.replace("\\", "")
tmp_list.append(image_url)
# 清理掉頭像和去重獲取data-original的內容
tmp_list = list(set(tmp_list)) # 去重
for item in tmp_list:
if item.endswith('r.jpg'):
print item
image_urls.append(item)
print 'size: %d, num : %d' % (size, len(image_urls))
if __name__ == '__main__':
question_id = 26037846
zhihu_url = "https://www.zhihu.com/question/{qid}".format(qid=question_id)
path = 'zhihu_pic'
mkdir(path) # 建立本地資料夾
img_list = get_image_url(question_id, headers) # 獲取圖片的地址列表
download_pic(img_list, path) # 儲存圖片

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/22664653/viewspace-2138599/，如需轉載，請註明出處，否則將追究法律責任。

【Python】如何獲取知乎最有價值的內容

相關文章