60行程式碼爬取知乎“神回覆”，句句戳中淚點
作者 | shenzhongqiang
轉載自Python與資料分析（ID:PythonML）
之前的一篇文章《爬了下知乎神回覆，笑死人了~》釋出後，引發了大家熱烈的反響。很多朋友覺得很神奇，在後臺問強哥是怎麼做到的，有的朋友還表示不太相信。其實爬取知乎神回覆很簡單，這篇文章我們就來揭曉一下背後的原理。
知乎神回覆都有些什麼特點呢？我們先來觀察一下
大家看出什麼規律了麼？短小精闢有沒有？贊同很多有沒有？所以爬取知乎神回覆我們只要爬取那些贊同多又字數少的回答就可以。簡單的兩個步驟就能實現，第一步爬取知乎回答，第二部篩選回答。是不是很easy？
爬取知乎回答
第一步我們爬取知乎上的回答。知乎上的回答太多了，一下子爬取所有的回答會很費時，我們可以選定幾個話題，爬取這幾個話題裡的內容。
下面的函式用於爬取某一個指定話題的內容
def get_answers_by_page(topic_id, page_no):
offset = page_no * 10
url = <topic_url> # topic_url是這個話題對應的url
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
}
r = requests.get(url, verify=False, headers=headers)
content = r.content.decode("utf-8")
data = json.loads(content)
is_end = data["paging"]["is_end"]
items = data["data"]
client = pymongo.MongoClient()
db = client["zhihu"]
if len(items) > 0:
db.answers.insert_many(items)
db.saved_topics.insert({"topic_id": topic_id, "page_no": page_no})
return is_end
get_answers_by_page函式有兩個引數，第一個引數是話題的id，第二個參數列示爬的是第幾頁的內容。
爬下來的內容當中有幾個需要注意的欄位，下圖中用黃框高亮出來了
這幾個欄位的含義如下：
question.title - 問題的標題
content - 回答的內容
voteup_count - 贊同的數量
這些欄位在下一步篩選回答的時候會用到。
篩選回答
爬完資料後，我們來篩選一下結果。
我們用MongoDB中的聚合管道對回答做篩選（關於MongoDB的聚合管道的用法可以參考Aggregation Pipeline Quick Reference這篇文章，地址在
https://docs.mongodb.com/manual/meta/aggregation-quick-reference/）
程式碼如下：
client = pymongo.MongoClient()
db = client["zhihu"]
items = db.answers.aggregate([
{"$match": {"target.type": "answer"}},
{"$match": {"target.voteup_count": {"$gte": 1000}}},
{"$addFields": {"answer_len": {"$strLenCP": "$target.content"}}},
{"$match": {"answer_len": {"$lte": 50}}},])
上面的程式碼會篩選所有贊同大於1000、字數小於50的回答，篩選出來的結果就是短小精闢的神回覆。以上是核心程式碼，完整程式碼已上傳github。
知乎神回覆
程式碼寫完了，我們來執行下看看。恰好昨天是程式設計師節，我們就來篩選一下和程式設計師有關的神回覆。結果如下，一共75條搞笑段子?
1
Q: 碼農們最常說的「謊言」有哪些？
A: //TODO
2
Q: 在 GitHub 上保持 365 天全綠是怎樣一種體驗？
A:曾經保持了200多天全綠，但是冷落了女朋友，一直綠到現在。
3
Q: 如何反駁「程式設計師離開電腦就是廢物」這個觀點？
A: 不不不，很多程式設計師在電腦前也是廢物。
4
Q: 假如有一天所有的人都使用計算機語言說話，會是怎樣的場景？
A:hello, world.燙燙燙燙燙燙燙�d}��R�0:�v�?.
5
Q: 突然想開一家程式設計師主題的餐館，名字就叫程式設計師的菜，菜名就叫各種語言中的關鍵字，各位指點一哈，有前途沒？
A: 進門一個大大的 hello world，招牌菜叫“紅燒產品經理”，一定會爆滿的
6
Q: 什麼是遞迴？
A: 「不宜公開討論的政治內容」的定義和範疇本身也屬於「不宜公開討論的政治內容」
7
Q: 程式設計最基本的術語 “bug” 該怎麼翻譯？
A:么蛾子，你的程式又出么蛾子了。
8
Q: 程式設計的樂趣是什麼？
A: 人的成就感來源於兩樣東西，創造和毀滅。
9
Q: 如何反駁「程式設計師離開電腦就是廢物」這個觀點？
A: 老實說 跟這種女人都能聊下去 你是不是想上她？
10
Q: 作為程式設計師，你在程式設計時吃了哪些數學的虧？
A: 看論文時候一個"顯然"推了我一下午
11
Q: 土豪程式設計師的裝置都有啥？
A: 女朋友。。。
12
Q: 祈求程式碼不出 bug 該拜哪個神仙？
A: 拜雍正，專治八阿哥。
13
Q: 考上好大學學 IT 是不是當今中國窮人家孩子晉級中產唯一的出路？
A: 對，就4條路
寫程式碼
搞金融
在程式碼圈搞金融
在金融圈寫程式碼
14
Q: 為什麼程式設計師無論到哪兒都喜歡背電腦包，哪怕裡面沒有裝電腦？
A: 因為他們沒有別的包。
15
Q: 「Talk is cheap. Show me the code」怎麼翻譯比較好？
A: 屁話少說，放碼過來。
16
Q: 為什麼程式設計師的女朋友或老婆顏值普遍要高於男方很多？還是說程式設計師已經算是婚戀市場的優質股了？
A: 程式設計師女朋友顏值高，我是服的，因為隨便問十個程式設計師他的女朋友是誰，有九個回答是新垣結衣
17
Q: 為什麼一部分人寧可買幾個機械鍵盤換著用，也不願意給自己敷一下面膜？
A:
老子不靠臉吃飯。
老子的辛辛苦苦掙來的鈔票。老子想怎麼花就怎麼花。
18
Q: 程式設計師夫妻結婚戒指刻什麼字好？
A: 0 error 0 warning
19
Q: IT 工程師被叫「碼農」時是否會不舒服？
A: 我們好歹還是人，產品和設計已經是狗了……
20
Q: 為什麼一個銷售男（30歲）會約我一個男程式設計師（24歲）去小區附近的星巴克？
A: 根據哥多年的經驗，他應該是有巨牛逼的idea然後只差程式設計師去實現了
21
Q: 怎麼找到喜歡程式設計師的妹子做女友？
A: 看緣分，知乎上這麼多使用者，你關注到我就是緣分。
22
Q: 程式設計師女朋友如何給程式設計師男朋友過生日？
A: 告訴他，介面已經準備好了。
23
Q: 作為程式設計師，你是如何在工作以後找到女朋友的？
A: 題主作了這麼久的程式設計師，還喜歡女孩子已經難能可貴了。
24
Q: 程式設計師轉行燒烤需要做哪些準備，有哪些優勢和劣勢？
A: 你看，你連自己做燒烤都不知道優勢劣勢在哪裡，所以，你還是需要一名產品經理。
25
Q: 哪些話可以惹火程式設計師？
A: 路過他電腦前時說一句，呦，又在寫bug呢!
26
Q: 我的一位老師說，Java 適用於大型軟體而 C# 適用中小型軟體。這是真的麼？
A: Java有項天賦，就是能把中小型軟體寫成大型的。
27
Q: 為什麼 2014 年程式設計師薪資那麼高？
A: 時薪又不高
28
Q: 是不是大部分程式設計師都在抱怨工資低？
A:
誰、誰在抱怨工資高？
29
Q: 單身程式狗解決了一個技術難題後沒有妹子可以炫耀或誇一下自己怎麼辦？
A: 現在你明白了吧，為什麼那麼多程式設計師要寫技術部落格。
30
Q: 中國程式設計師是否偏愛「衝鋒衣+牛仔褲+運動鞋」的衣著？如果是，為何會形成這樣的潮流？
A: 穿那麼好看給程式看嗎？
31
Q: 作為 IT 從業人員，你覺得有什麼工具大大提高了你的工作效率？
A:
單身
32
Q: 為什麼我認為程式設計師似乎大多不善言辭？
A:
你就當是我們情商低就好了，
這樣你開心，
我們也開心。
33
Q: 在中國，年齡最大的程式設計師不過40歲左右，請問中國的程式設計師未來還可以做什麼？
A:這跟為什麼90後沒人活過30歲是同一個原理
34
Q: 如何回覆程式設計師發來的簡訊：「Hello world」？
A: hello nerd.
35
Q: 怎麼看出 IT 男喜歡一個女生？
A: 當他拼著自己早已養成的寡言少語的習慣去死命的跟你套近乎的時候
36
Q: 為什麼程式設計師不應該會修電腦？
A: 范冰冰需要會修電視機嗎？
37
Q: 同事說自己 C++ 水平全中國第一，怎麼讓他意識到自己沒那麼厲害？
A:
實不相瞞，我也不是裝逼：我的 C++ 水平全國第 0。
38
Q: 為什麼 iPhone 刪軟體時，所有圖示都要抖？
A: 第三方軟體是嚇得，系統自帶軟體是嘚瑟
39
Q: 左輪手槍裝有一顆子彈，對著自己頭開一槍獎勵10萬元，兩槍1億，三槍2億，四槍4億，5槍16億，值得嗎？
A:
只要不打要害，我告訴你，我能打到我們A站上市！！！！
40
Q: iPhone 處理器的效能按照現在每年翻一倍的節奏，是不是很快就能趕上甚至超過臺式電腦的處理器？
A: 小時候我總覺得過兩年我就能和大我兩歲的哥哥一樣大了。
41
Q: 知乎給你帶來的最小限度的好處是什麼？
A: 消磨時間還不覺得罪惡。
42
Q: 有哪些反人類的科技發明或設計？
A: 電腦連不上網，診斷以後它提示我要聯網解決
43
Q: 為什麼設計師不願意被稱為美工？
A: 只要工資開的高，叫我阿姨都行。
44
Q: 為什麼有人認為網易雲音樂是業界良心？
A: 有一天突然給我推送一條訊息說我要的歌詞找到了
45
Q: 為什麼沒有出現無人機自毀式攻擊武器呢？恐怖分子用過嗎？
A: 你是說導彈麼？
46
Q: 既然思想是我的，那麼為什麼有時候我控制不了我的負面情緒？
A: 作業系統不會允許使用者訪問、修改及刪除核心系統檔案，因為這會損壞系統，導致執行異常。
47
Q: 魯迅雖然很牛，但在這世界十大文豪裡是不是湊數的？
A: 為什麼文豪要為文盲排的榜買單？
48
Q: 人類的哪些科技已經接近瓶頸，很久沒有重大突破了？
A: 燒開水
49
Q: 如何看待某些人下載軟體喜歡到官網的偏好？
A: 同學你沒中過百度全家桶吧？
50
Q: 為什麼很多人買筆記本打遊戲，而不用效能更好的桌上型電腦？
A: 因為買不起房子。。。
51
Q: 第一次聽好耳機對你帶來的震撼有多大？
A: 第一次聽好耳機不會給人多大震撼，但是當換回普通耳機的時候，震撼就來了
52
Q: Chrome 真的很費電嗎？
A: 不費電，我現在就在用Chrome，用到現在這麼久，筆記本電量還有50%，我估訁
53
Q: MacBook 上安裝 Windows 後的使用體驗如何？
A: 像突然間有了軟肋，並且還失去了鎧甲。
54
Q: 家裡所有有關產品都用蘋果產品是一種什麼體驗？
A: 來個電話全家都響了起來
55
Q: 你為什麼不買 iPhone X？
A: 日益增長的美好生活需要和貧窮的現實之間的矛盾
56
Q: 為什麼有人願意花幾千元買 iPhone ，卻不願意花幾十元買正版 iPhone 軟體和遊戲？
A: 因為他們下載不到iphone
57
Q: 有什麼 App 取的名字特別驚豔？
A: 水錶助手…是查快遞的…
58
Q: 你為什麼要買行動硬碟？
A: 條件好了也要給自己的女人們住舒適點啊
59
Q: 如何用 iPad 遙控 PC 關機？
A: 瞄準pc電源鍵扔過去
60
Q: 如何評價 2016 年 9 月 7 日的蘋果釋出會？
A: 為了新MacBook Pro，半年看了三場釋出會……
61
Q: 如何評價 Internet Explorer？
A: 下載其他瀏覽器的瀏覽器
-----一年後-----
IE8以下好爛，做前端想哭的節奏。
62
Q: 爸媽讓我攢錢買房，我卻想買蘋果電腦怎麼辦？
A: 你要真能3年攢50萬的房子,差這1萬7買個電腦麼,大哥?
63
Q: 有哪些垃圾手機軟體？
A: 簡訊攔截軟體！ 攔截後告訴你它攔截了一條簡訊。 我相信99%的人會再去點進去看一下被攔截的簡訊！
64
Q: 一個完整的 PPT 做下來，最讓你頭疼的是什麼？
A: 怎樣向領導隱藏自己的實力。
65
Q: 什麼是 Vim 可以做而 Emacs 做不到的？
A: 幫助烏干達的可憐兒童……
66
Q: 蘋果使用者為什麼選擇蘋果？
A: 因為不用蘋果的使用者不是蘋果使用者。
67
Q: 計算機世界裡有哪些經典謠言？
A: windows正在聯機尋找解決方案。
68
Q: 有線滑鼠會被無線滑鼠取代嗎？
A: 我覺得在網咖有線滑鼠就不會被取代
69
Q: 計算機世界裡有哪些經典謠言？
A: 我已閱讀並同意該條款
70
Q: 計算機系的學生都有哪些口頭禪？
A: 我電腦上執行的好好的啊⋯⋯
71
Q: 如何看待百度官博公開闢謠涉李彥宏家事傳聞？
A:
「中國人對隱私沒那麼敏感，願意用隱私換取便利。」
——李彥宏
72
Q: 在飛機上遇到了馬雲該怎麼聊天？
A: Hello Jack, my name is Jackson.
73
Q: 如何理解馬雲說八年後房如蔥？
A:
趕緊買蔥啊，蔥要漲價了！！！
74
Q: 如何理解馬雲說的「把地主殺了，不等於你能富起來」這句話？
A: 他的意思是「別殺我」
75
Q: 如何看待百度在魏則西事件過去之後又悄悄的把承諾整改的廣告提示顏色調淡了？
A: 請大家不要黑百度，我是做前端開發的，這是時間久了，網頁CSS掉色了
（本文為AI科技大本營轉載文章，轉載請聯絡原作者）
公開課推薦
◆
明晚8點
◆
推薦閱讀：
❤點選“閱讀原文”，檢視歷史精彩文章。
相關文章
- 60行程式碼爬取知乎神回覆行程
- 新手爬蟲教程：Python爬取知乎文章中的圖片爬蟲Python
- Python爬蟲新手教程： 知乎文章圖片爬取器Python爬蟲
- 分散式爬蟲之知乎使用者資訊爬取分散式爬蟲
- 爬取知乎單個網頁問題和回答網頁
- 知乎上的44條神回覆，針針見血，看完整個人通透多了
- scrapy實戰專案（簡單的爬取知乎專案）
- python爬蟲如何爬知乎的話題？Python爬蟲
- Python網路爬蟲實戰：爬取知乎話題下 18934 條回答資料Python爬蟲
- 知乎專案程式碼閱後總結
- 如何爬取視訊的爬蟲程式碼原始碼爬蟲原始碼
- 使用 Scrapy 爬取股票程式碼
- 爬取行政區劃程式碼
- [Python]爬蟲獲取知乎某個問題下所有圖片並去除水印Python爬蟲
- 爬蟲：HTTP請求與HTML解析（爬取某乎網站）爬蟲HTTPHTML網站
- 登陸註冊頁面html程式碼(仿知乎)HTML
- 獲取時間戳，幾個時間點的時間戳時間戳
- “Python這3個優點，給跪了！”程式設計師神回覆：骨氣呢！Python程式設計師
- python爬蟲專案（新手教程）之知乎（requests方式）Python爬蟲
- mysql獲取今天、昨天0點時間戳MySql時間戳
- java中的介面一些知識點———— 程式碼Java
- Python爬蟲抓取知乎所有使用者資訊Python爬蟲
- 用python爬取知識星球Python
- 爬取某網站寫的python程式碼網站Python
- 百度投資知乎，智慧小程式是合作中樞
- 新手小白的爬蟲神器-無程式碼高效爬取資料爬蟲
- 招商證券：知乎–知之為知之，不知知乎知（附下載）
- 爬蟲爬取微信小程式爬蟲微信小程式
- 用一段爬蟲程式碼爬取高音質音訊示例爬蟲音訊
- 慕爾名，我的“知乎”小程式（1）
- 基於微信小程式的知乎介面微信小程式
- 程式碼不規範，同事兩行淚
- 大眾點評商家爬取
- Python 爬蟲 + 人臉檢測 —— 知乎高顏值圖片抓取Python爬蟲
- 「無程式碼」高效的爬取網頁資料神器網頁
- 裝逼只服程式設計師！用程式碼寫出租廣告，網友回覆亮了：程式碼有點爛啊程式設計師
- 程式設計師面試神回覆，最後一個“過分”了！程式設計師面試
- 做了個知乎專欄小程式版，分享給大家