對於“爬蟲”， 或許你只是聽說過，或許已經有所瞭解。無論怎樣，你可能有過這樣的困惑：
+ 學了爬蟲不知道怎麼掙錢？
+ 技術不知道如何進階？
+ 遇到問題不知道找誰交流？
十多年前，還是年輕人的老猿在學習Python時就遇到了這樣困惑。
曾經，“獨上高樓，望盡天涯路”；
好在，“衣帶漸寬終不悔，為伊消得人憔悴”；
而今，“驀然回首，那人卻在，燈火闌珊處”。
在十幾年的工作實踐中，這些困惑都被一一解開。堅定的目標，專注的追尋，豁然開朗般的領悟，讓技術知識融會貫通。領悟得越多就越想把這些經驗和知識分享出來，給那些跟曾經的我們有一樣困惑的小夥伴們多一點借鑑。於是就動起了筆寫下了這份教程。
老猿學Python爬蟲的過程
老猿是兩個基友，你姑且叫我們老猿W (碼程式碼10年)和 老猿V(專業碼農12年)，這部教程是我們共同完成，十幾年前我們也是自學Python然後工作到今天。
老猿V從讀碩期間開始用Python做專案，畢業後一直從事資料抓取，網路輿情分析，自然語言處理工作，具體涉及的是大規模新聞資訊抓取，社交媒體實時抓取，網路輿情分析與處理工作，至今工作十餘年。
老猿W這些年的工作是技術工作中夾雜產品運營，在用Python做網站開發，資料抓取的同時，也兼顧公司產品運營，所以老猿W寫的爬蟲大多是為了配合流量，運營的需要而寫。
10年前老猿W 和 老猿V 是同事，老猿W 進公司的第一天，老猿V 丟給老猿W 一個Python爬蟲程式讓修改一下里面的bug，當時在完全不會Python的情況下，老猿W一邊看《One Byte of Python》學習語法，一邊摸索著除錯程式，從此開始了老猿W的10年Python之路。
在這十年中老猿待過小型，大型，創業公司，也曾在各自公司擔任過技術總監，從一個純碼農到現在產品運營一肩挑，積累了一點墨水，老猿V在理論、系統層面積累了蠻多經驗，也趟了很多坑，老猿W在爬蟲商業化上，如何通過爬蟲技能(不一定是抓群資料)幫助公司業務增長上也有很多認識和體會，想把它們拿出來，分享給新入局者。
爬蟲是一個綜合技藝
爬蟲是一個運用綜合技能的工作，一個好的爬蟲工程師應該要具備前端(html、JS、瀏覽器和APP抓包)，HTTP知識，簡單資料探勘(資料結構化、清洗、排重等工作)，資料儲存等知識。
熟練運用以上技能可以算作一個合格的爬蟲碼農，能夠處理過百萬的網頁資料。當處理上千萬的網頁資料時，你的儲存方法，記憶體調配方式，抓取策略就又需要你打怪升級了。當對抓取的實時性和資料量要求都很高時，爬蟲其實又變成了一個社會工程，需要解決大量分佈的IP和賬號問題。
從最簡單的Python爬蟲開始練習
不要被上述的一堆名詞嚇到，如果你是一個初學者，你要做的就是多動手練習，從最簡單的爬蟲寫起，在編碼和除錯的過程中你會遇到各種各樣的問題，這時就是你最好的學習和進階時刻，在解決這些問題中你會摸索出該去掌握哪些技巧。
這些知識都是老猿在過去一個坑一個坑趟過來的，老猿打算寫一個猿人學Python爬蟲教程系列，會把Python爬蟲教程分成幾部分，這部教程主要寫給剛學習爬蟲的小猿們，後續根據各位看官的反饋來續寫第二部教程。
如果你也跟我們一樣有過同樣困惑，如果你想在早期學習階段少走一些彎路，那麼從現在開始，就跟著老猿一起來學習Python爬蟲吧。
下一篇我們們講怎麼利用python爬蟲來掙錢。
個人利用爬蟲技術怎麼掙錢
我的公眾號：猿人學 Python 上會分享更多心得體會，敬請關注。
***版權申明:若沒有特殊說明，文章皆是猿人學 yuanrenxue.com 原創，沒有猿人學授權，請勿以任何形式轉載。***