我的 Python 網路爬蟲直播分享要來了！

崔慶才丨靜覓發表於2018-10-19

開篇之前先提一下上週日的事情。

上週日的時候我參加了北京站的 PyCon China 2018 開發者大會，PyCon 大家知道的吧！就是 Python 界最大的技術開發者大會，會上會有很多 Python 開發者分享自己的相關開發經驗，開發者主要來自歐美國家，而 PyCon China 就是中國區的 PyCon，面向的人群則是我們中國的 Python 開發者。

Python China 之前已經連續成功舉辦過 7 屆了，今年是第 8 屆，大家有興趣可以到 PyCon China 的官網（http://cn.pycon.org）來看下。北京站是在 10.14 已經結束了，接下來還有上海站、深圳站、成都站、杭州站還未開始，現在還是可以報名的。

在北京站這次 PyCon 上我也很榮幸被邀請成為講師來做一次分享，由於我對爬蟲研究較多，所以我分享的主題就是《健壯高效的網路爬蟲》，從抓取、解析、儲存、反爬、加速五個方面介紹了利用 Python 進行網路爬蟲開發的相關知識點和技巧，介紹了不同場景下如何採取不同措施高效地進行資料抓取的方法，包括 Web抓取、App 抓取、資料儲存、代理選購、驗證碼破解、分散式抓取及管理、智慧解析等多方面的內容，另外還結合了不同場景介紹了常用的一些工具包，所有內容都是我在從事網路爬蟲研究過程以來的經驗精華總結。

當時拍了一張講師牌：

週日那天我是和兩位同學一起過去的，去的比較早，參加了一些小活動，拍了一些照片，然後聽了上午主會場的一些技術分享，上午洪強寧老師（愛因互動創始人）、Ezio Melotti（CPython 核心開發者）、李隆老師（大疆創新測試開發負責人）分別作了精彩的報告。

我的演講是在下午一點，所以中午我早早去吃了飯，做了些提前的準備，1 點正式開講，當時現場大約是這個樣子的：

還有這個樣子的：

謝謝各位大佬為我拍的照片。

其實這是我第一次作為講師參加這種型別的活動，之前參加過很多峰會或沙龍，但都是聽眾角色，從來沒有講過，所以這次也是自己的一個小小的突破。由於是第一次，所以我多多少少還是有些緊張的，不過總體看來還比較順利，沒出什麼大岔子。

講完之後有很多爬蟲愛好者也都來找我交流，會下大家一起交流了很長時間。另外讓我特別感動的是，還有一位來自上海的陳總（某公司爬蟲 Leader）專門跑來聽我的分享，和我交流完了之後他就離開去趕火車了，會下我跟他交流了很多，我也很開心自己的一些經驗能夠對他有些啟發，讓陳總此行不虛，所以我感覺還是很有成就感的。

另外那天我還做了一件想起來比較自豪的事情，那就是上午作分享的 Python 核心開發者 Ezio Melotti 交流了一下。雖然我英語不咋地，有些話說的磕磕絆絆，但是我還是硬著頭皮上了。我問了他一些它負責的相關開發模組的理念，另外還跟他介紹了我的開源專案 Gerapy，另外還問了一些關於文化啊、旅遊啊之類的問題，最後臨走的時候還送了他一本我的爬蟲書《Python3網路爬蟲開發實戰》，他很開心哈哈，最後還合影留念了一下。

嗯忽略這個最萌身高差吧 (*/ω＼*)，Melotti 神估計一米九了。

總之一天體驗下來，我的收穫還是非常大的，認識了很多大佬，同時也把自己的經驗分享給大家。

不過，我個人的演講還有個美中不足的地方，那就是時間有點緊，整個演講被限制在 1 個小時，另外還要留出 15 分鐘提問，所以整個的演講時間就是 45 分鐘，所以很多很多地方，我都一帶而過。尤其中間我感覺內容講了還不太到一半的時候，就被提示只剩十五分鐘了，所以後面的知識點我講的非常非常粗略，有的甚至為了節約時間都沒有提，所以我想分享的很多東西都沒有時間講了。

另外本次 PyCon China 的直播貌似不是特別給力，當時直播的時候只直播了一個會場，會後的錄播現在應該還在處理中，所以沒有參會的朋友基本是沒有聽到我的演講內容的。

所以這個週末，我會在掘金也開展一個同樣主題的分享，主題還是一樣的，還是《健壯高效的網路爬蟲》，是在 Bilibili 直播，這次時間比較充裕，是從下午的一點到三點半，所以我會把一些知識點詳細展開來說一下，另外還會留出時間來回答各種爬蟲相關的問題，另外還有一些抽獎活動，送一些書之類的。

海報是這樣子的：