鄙視那些把爬蟲當作AI的SB，清華學霸尹成大哥的歷史上最強大的爬蟲視訊

人類有史以來最強悍的爬蟲視訊，尹成大魔不出，誰與爭鋒
清華學霸尹成大哥的Python爬蟲視訊，近期免費公開，可以找客服475318423索要視訊原始碼。

爬蟲基礎
1.爬蟲的定義與作用
2.擷取http協議-Fiddler實戰
get與post差別
3.如何有效抓取網頁
python2
—urllib2詳解
—request詳解
—Selenium +PhantomJS
—Selenium + Chrome
—Selenium +Firefox
—如何解決動態頁面與靜態頁面

python3
—urllib.request程式碼升級

4.如何有效提取資料
正規表示式
xpath
beautifulsoup4
pyquery
jsonpath

5.如何模擬網頁操作

6.爬蟲強化
多協程爬蟲
多執行緒爬蟲
多程式爬蟲
分散式爬蟲
分散式+多程式+多執行緒+多協程綜合爬蟲
7.驗證碼
機器視覺如何識別驗證碼
機器視覺如何訓練驗證碼
機器視覺如何有效識別任何驗證碼
驗證碼影象處理
8.網頁模擬登陸實戰
實現百度，阿里，淘寶，京東的自動登入

9.爬蟲高階技術
模擬瀏覽器頭
換ip自動撥號
伺服器代理
重定向
https加密處理
cookie複用
手機網頁抓取
模擬手機瀏覽器
爬蟲網站的深度遍歷與廣度遍歷
如何下載優酷，愛奇藝，網易公開課，騰訊視訊，搜狐視訊，新浪視訊，百度視訊，酷狗音樂，酷我音樂等等知名視訊網站的視訊
洋蔥瀏覽器與深網ip實現解除ip封鎖
破解路由器密碼與wifi密碼

階段性輕量級爬蟲實戰
網頁郵箱無限挖掘
抓取智聯招聘
抓取51job
抓取中華英才網
模擬登入人人網
模擬登入cms系統
分散式百度貼吧資料檢索模擬登入
分散式百度百科資料提取
深度遍歷與廣度遍歷百度貼吧
抓取阿里巴巴百度騰訊招聘
抓取指令碼之家
暴力破解網站密碼
暴力破解路由器密碼
抓取QQ空間
登入抓取京東
實現自動投票
實現淘寶自動領金幣
抓取網頁代理
模擬登入自動下載工具
自動登入知乎並破解知乎漢字倒立驗證碼
微博自動登入抓取
陽光問政資料抓取
抓取CSDN講師
抓取51CTO講師
抓取卡通圖片
抓取雙色球
抓取起點中文
實現自動翻譯
爬蟲實現任意驗證碼識別呼叫雲打碼
爬蟲部署亞馬遜雲

10.爬蟲框架scrapy與pyspider
scrapy深度遍歷 廣度遍歷
scrapy抓取單頁資料與多頁資料
scrapy抓取百度百科
scrapy抓取百度貼吧
scrapy抓取51CTO講師
scrapy抓取CSDN講師
scrapy抓取百度郵箱
scrapy+cookie模擬登入人人網
scrapy+cookie模擬登入淘寶網
scrapy+request模擬登入抓取人人網
scrapy+selenium模擬登入京東網
scrapy+selenium模擬登入淘寶網
scrapy抓取陽光問政
scrapy抓取鬥魚直播
scrapy抓取CSDN部落格
scrapy抓取51CTO部落格
scrapyXML，CSV，SiteMap型別抓取
scrapy-splash抓取靜態頁面
scrapyd雲端部署與管理控制
scrapy日誌分析

pyspider-抓取51CTO講師
pyspider-抓取豆瓣資訊
pyspider-抓取ajax資料

11.爬蟲框架scray-redis
redis資料實戰
scrapy-redis布隆過濾器
scrapy-redis分散式抓取郵箱
scrapy-redis分散式抓取騰訊招聘
scrapy-redis分散式抓取新浪
scrapy-redis分散式抓取百度貼吧
scrapy-redis分散式抓取百度百科
scrapy-redis分散式抓取CSDN講師
scrapy-redis分散式抓取51CTO講師
scrapy-redis分散式抓取財經資料
scrapy-redis分散式抓取股票資料
scrapy-redis抓取QQ閱讀
scrapy-redis抓取創業邦

12.爬蟲資料抓取處理
詞雲繪圖
資料排序-根據妹子的身高年齡綜合排序
pyecharts實現繪圖
繪製股票趨勢圖
繪圖熱點熱力圖
繪製地圖人數分析
matplotlib實現資料繪圖
柱狀圖，表格圖，折線圖等等167種圖
抓取人人社交資訊實現圖狀資料繪圖

13線上讀取doc,docx.,xls,pdf,xlsx,ppt,pptx,txt,html等等多種檔案處理

14.深度學習訓練驗證碼識別驗證碼

爬蟲專案實戰-實戰大公司網站，全方位鍛鍊爬蟲技術
1.根據深網的搜尋引擎檢索犯罪資訊，挖掘onuion 色情識別 暴恐識別
2.淘寶–selenium
登入淘寶，挖掘所有訂單,統計出來
登入淘寶，抓取商品銷售排名
登入淘寶，例如輸入 iphone或者行動硬碟，檢索銷量最高的前100個人的使用者評價，情感分析

3.京東
登入京東，挖掘所有訂單
登入京東，抓取商品銷售排名
登入京東，例如輸入 iphone，檢索銷量最高的前100個人的使用者評價
4.微博-資料統計
登入微博，檢索個人資訊，頭像，資訊詞雲。
實現維度疊加，每個人有很多個好友，
5.58 selenium+requests
定時抓取資訊 房產，二手房，租房，二手車，寵物，電子產品， 定時挖掘均價最低的10個
6.趕集
定時抓取資訊 房產，二手房，租房，二手車，寵物，電子產品， 定時挖掘均價最低的10個
7.招聘分析 python,
15job,zhaopin,lagou, liepin崗位資訊，輸入關鍵詞，定製崗位數量
8.實時抓取東方財富3000多股票名稱，並將股票名字在百度搜尋，搜尋前10000條資料進行情感分析。
增加http://www.jrj.com.cn/的評論與情感分析 評論觀點抽取 情感傾向分析
9.抓取百度百科，進行情感分析。
10.抓取世紀佳緣，珍愛網的男女資訊，照片進行相似度檢索，進行資料統計,顏值分析，年齡分析。
11.天貓
登入天貓，挖掘所有訂單
登入天貓，抓取商品銷售排名
登入天貓，例如輸入 iphone，檢索銷量最高的前100個人的使用者評價，情感分析
12dangdang
登入dangdang，挖掘所有訂單
登入dangdang，抓取商品銷售排名
登入dangdang，例如輸入 iphone，檢索銷量最高的前100個人的使用者評價，情感分析
13.登入知乎
抓取前三名的問答，挖掘所有問答
14.1688
登入1688，挖掘所有訂單
登入1688g，抓取商品銷售排名
登入1688，例如輸入 iphone，檢索銷量最高的前100個人的使用者評價
15.抓取易車網
登入易車網
抓取所有二手車資訊
16.抓取愛奇藝，優酷，土豆其中之一
實現視訊整站下載
視訊內容分析 視訊封面選圖 視訊比對檢索 視訊內容稽核
17.https://www.bilibili.com/抓取分類資訊
18 抓取開源中國，所有開源專案資訊 http://www.oschina.net/進行熱度分析
19抓取創業邦投資人，創業者，公司。做出投資行業報告
20.微博頭像，人人網頭像，婚戀網站頭像，美女，尋找初戀，整合人臉識別技術。
21 12306.登陸抓取訂單資訊