非計算機專業小白自學爬蟲全指南（附資源）

爬蟲是我接觸計算機程式設計的入門。哥當年寫第一行程式碼的時候別提有多痛苦。

本文旨在用一篇文章說透爬蟲如何自學可以達到找工作的要求。

爬蟲的學習就是跟著實際專案去學，每個專案會涉及到不同的知識點，專案做多了，自然也就會了。練練練！！！！

本文推薦的資源就是以專案練習帶動爬蟲學習，囊括了大部分爬蟲工程師要求的知識點。

爬蟲工程師要求知識點

1、python入門和進階（進階的包括多程式等等）

2、HTTP知識（因為要爬的是網頁，所以要了解網頁）

2、web前端：HTML、CSS、Javascript等

3、爬蟲知識（爬蟲基本庫的使用、scrapy框架等）

4、反爬蟲（代理池、分散式等等）

5、資料庫（大批量資料的儲存涉及mysql等）

先導知識

HTTP協議：https://www.cnblogs.com/ranyonsue/p/5984001.html

html，css，javascript：學爬蟲這些東西是肯定要看的，推薦W3school，倒也不用全看，懂個大概就好了

最佳學習資源推薦

前期教程：https://cuiqingcai.com/1052.html（現今網上最全的爬蟲學習教程）

目錄列表：

但是，只學完上面是不夠找工作的，所以我整理了下面的資料，是我花了幾個月時間自學，精選來的教程，重中之重。包含知識點：IP代理、mongoDB、mysql、抓包、分散式、selenium、模擬登陸、cookie等等

爬蟲實戰專案一，涉及知識點：mysql儲存、斷點續爬、抓包app、ip代理、cookie模擬登陸

1、https://zhuanlan.zhihu.com/p/26810901

2、https://zhuanlan.zhihu.com/p/26527575

3、https://www.cnblogs.com/hearzeus/p/5157016.html

4、https://www.jianshu.com/p/887af1ab4200

爬蟲實戰專案二，涉及知識點：scrapy具體應用

scrapy知識點：https://www.cnblogs.com/cnkai/category/1061919.html

scrapy中文文件：https://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/tutorial.html

scrapy專案實戰：https://www.cnblogs.com/cnkai/category/1062011.html

補充：https://segmentfault.com/a/1190000009321902

爬蟲實戰專案三，涉及知識點：去重、分散式、多程式、模擬登陸

1、https://cuiqingcai.com/4352.html

資料庫，掌握基本用法即可

mysql：http://www.runoob.com/mysql/mysql-tutorial.html

mongodb：http://www.runoob.com/mongodb/mongodb-tutorial.html

找工作必備

計算機基礎，包含（資料結構與演算法、計算機網路協議等計算機專業基本課程、我前面的文章裡有介紹怎麼學），非計算機專業學生容易忽略

其他技能（可選，加分）

javascript，驗證碼，app破解

1、要想破解加密，得非常強悍的javascript基礎，這個我也不是很懂

2、驗證碼，工業界目前破解驗證碼還是用打碼平臺

3、現在不僅僅是網站破解了，很多公司需要你抓app的資料，抓包最常用，你還得會app脫殼之類的，這些我就不懂了。

擴充閱讀：

一文了解爬蟲與反爬蟲

https://segmentfault.com/a/1190000005840672

最後，請注意，爬蟲的工作機會相對較少。

討論學習，文章釋出，公眾號：learningthem

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31549715/viewspace-2212558/，如需轉載，請註明出處，否則將追究法律責任。