總數量超過五十個，史上最全的爬蟲專案集合

莫莫先生發表於2020-01-21
爬蟲

直接點目錄過去，我喜歡隔段時間來這裡絮叨一會的，和大家嘮嘮，導致中間越來越多了廢話了。

文章目錄

前言：
“分點學習爬蟲專案”，來源《從零開始學Python網路爬蟲》由淺入深共有22個專案分知識點逐步掌握爬蟲技術
"自己寫的爬蟲專案"慢慢學習慢慢寫，就都擱這裡彙總
"前人彙總GitHub爬蟲專案"顧名思義是來至於前人總結好的一些github上的專案，目前這裡有31個專案

自話：“分點學習爬蟲專案”的原始碼，我暫時還沒有整理出來，先列出專案清單，大概每個週末更新一下專案（emm，畫大餅，不會引起民憤吧），前面簡單的更新的快些，到後面的可能會慢一些，有時間就更一下，大家可以監督一哈我，別讓我偷懶，嘻嘻。——2019.12.3

分割線：期末複習周了，“分點學習爬蟲專案”第四節後的內容將不定期更新（看看什麼時候有空），過了這段時間再恢復更新。——2019.12.21

來了來了，我又來絮叨了，已經有好久沒編輯這個博文了，但是我爬蟲的部落格是有在更新的，雖然假期有些懶惰沒有怎麼更新（不要打我，我知道要更新了）。

沒有到這個博文裡編輯目錄的主要原因是我每次更新完都要重新稽核的，中間有好幾次都說稽核不通過，然後我找客服說明才通過了，麻煩的緊，想著寫的差不多了再來編輯這裡。看到這裡想必大傢伙知道了，那本書裡的專案我差不多都更新完畢了。

關於爬蟲專案我有幾個要說，Selenium專案我自己是寫了，但是苦於破解滑塊驗證碼這一技術（PS:當然可以跳過破解，手動登入，但是就背離了selenium解放雙手的本質了），我在網上看到的那些個博文，emm，上來就是一大段程式碼，好多關鍵字我又不明白什麼意思，反反覆覆的搞，後來我自己寫的破解滑塊又實在是沒臉見人（PS:可以解放雙手，爬取資料），所以就不在大家這裡獻醜了，要是我後面懂了必定更新上來。

而Scrapy專案中，多為爬取簡書的，但大家的意願好像不是很想看這方面的，於是我挑選了爬取簡書和知乎兩個專案方向，與書中的不是很符合，但寫的蠻詳實的，兩篇都被原力計劃推薦了，這裡建議先看爬簡書的後看爬知乎的，Scrapy的專案並非是就此不更了，還有不少要學習的地方，我又盯上了《從零開始學Scrapy網路爬蟲（視訊教學版）》，我好像迷上了這個系列的書，入門確實不錯，實踐專案也多（PS:有些個過時了，不過主要掌握思路，剩下還是要自己敲），這本書我已經看了幾章，還剩下些許抓緊時間看完，相比前面那本各有千秋吧，有興趣的小夥伴一起學呀，要是我寫了博文也會更新到新加的Scrapy專案目錄。

話一出口這還收不住了，又絮絮叨叨講了一大段（fei）話（做為里程碑式的總結），如果這些個爬蟲博文對你有幫助的話，點個贊，留個言，好叫我知道我寫的這些還有用處，謝謝大傢伙支援了。——2020.3.19

分點學習爬蟲專案

一、我的第一個爬蟲

三、lxml庫和Xpath語法

四、使用API

  • 7. 爬取PEXELS圖片2
  • 8. 爬取糗事百科網的使用者地址3

五、資料庫儲存

六、多程式爬蟲

七、非同步載入

八、表單互動與模擬登入

九、Selenium模擬瀏覽器

  • 17. 爬取QQ空間好友說說
  • 18. 爬取淘寶商品資訊

十、Scrapy爬蟲框架

Scrapy專案

  1. 爬取簡書網首頁推薦的文章的詳細資訊(原力推薦)（和上面19專案同連結）
  2. 爬取知乎網Python精華話題(原力推薦)（和上面20專案同連結）

自己寫的爬蟲專案

  1. 爬蟲小試-將某網站內的試題爬取出來並儲存到本地word
  2. 爬蟲練習-爬取豆瓣電影 Top 250資訊並儲存於本地
  3. 爬蟲練習-爬取筆趣閣小說
  4. python爬蟲-簡單代理IP池的搭建與使用
  5. python程式碼獲取Bing的首頁背景圖，並實現實現每日自動爬取，爬取的圖片可做精美桌布

前人彙總GitHub爬蟲專案

WechatSogou [1]:微信公眾號爬蟲。基於搜狗微信搜尋的微信公眾號爬蟲介面，可以擴充套件成基於搜狗搜尋的爬蟲，返回結果是列表，每一項均是公眾號具體資訊字典。

DouBanSpider [2]:豆瓣讀書爬蟲。可以爬下豆瓣讀書標籤下的所有圖書，按評分排名依次儲存，儲存到Excel中，可方便大家篩選蒐羅，比如篩選評價人數>1000的高分書籍；可依據不同的主題儲存到Excel不同的Sheet ，採用User Agent偽裝為瀏覽器進行爬取，並加入隨機延時來更好的模仿瀏覽器行為，避免爬蟲被封。

zhihu_spider [3]:知乎爬蟲。此專案的功能是爬取知乎使用者資訊以及人際拓撲關係，爬蟲框架使用scrapy，資料儲存使用mongo

bilibili-user [4]:Bilibili使用者爬蟲。總資料數：20119918，抓取欄位：使用者id，暱稱，性別，頭像，等級，經驗值，粉絲數，生日，地址，註冊時間，簽名，等級與經驗值等。抓取之後生成B站使用者資料包告。

SinaSpider [5]:新浪微博爬蟲。主要爬取新浪微博使用者的個人資訊、微博資訊、粉絲和關注。程式碼獲取新浪微博Cookie進行登入，可通過多賬號登入來防止新浪的反扒。主要使用 scrapy 爬蟲框架。

distribute_crawler [6]:小說下載分散式爬蟲。使用scrapy,Redis, MongoDB,graphite實現的一個分散式網路爬蟲,底層儲存mongodb叢集,分散式使用redis實現,爬蟲狀態顯示使用graphite實現，主要針對一個小說站點。

CnkiSpider [7]:中國知網爬蟲。設定檢索條件後，執行src/CnkiSpider.py抓取資料，抓取資料儲存在/data目錄下，每個資料檔案的第一行為欄位名稱。

LianJiaSpider [8]:鏈家網爬蟲。爬取北京地區鏈家歷年二手房成交記錄。涵蓋鏈家爬蟲一文的全部程式碼，包括鏈家模擬登入程式碼。

scrapyjingdong [9]:京東爬蟲。基於scrapy的京東網站爬蟲，儲存格式為csv。

QQ-Groups-Spider [10]:QQ 群爬蟲。批量抓取 QQ 群資訊，包括群名稱、群號、群人數、群主、群簡介等內容，最終生成 XLS(X) / CSV 結果檔案。

wooyunpublic [11]:烏雲爬蟲。 烏雲公開漏洞、知識庫爬蟲和搜尋。全部公開漏洞的列表和每個漏洞的文字內容存在mongodb中，大概約2G內容；如果整站爬全部文字和圖片作為離線查詢，大概需要10G空間、2小時（10M電信頻寬）；爬取全部知識庫，總共約500M空間。漏洞搜尋使用了Flask作為web server，bootstrap作為前端。

findtrip [12]:機票爬蟲（去哪兒和攜程網）。Findtrip是一個基於Scrapy的機票爬蟲，目前整合了國內兩大機票網站（去哪兒 + 攜程）。

163spider [13]:基於requests、MySQLdb、torndb的網易客戶端內容爬蟲

doubanspiders [14]:豆瓣電影、書籍、小組、相簿、東西等爬蟲集

QQSpider [15]:QQ空間爬蟲，包括日誌、說說、個人資訊等，一天可抓取 400 萬條資料。

baidu-music-spider [16]:百度mp3全站爬蟲，使用redis支援斷點續傳。

tbcrawler [17]:淘寶和天貓的爬蟲,可以根據搜尋關鍵詞,物品id來抓去頁面的資訊，資料儲存在mongodb。

stockholm [18]:一個股票資料（滬深）爬蟲和選股策略測試框架。根據選定的日期範圍抓取所有滬深兩市股票的行情資料。支援使用表示式定義選股策略。支援多執行緒處理。儲存資料到JSON檔案、CSV檔案。

BaiduyunSpider [19]:百度雲盤爬蟲。

Spider [20]:社交資料爬蟲。支援微博,知乎,豆瓣。

proxy pool [21]:python爬蟲代理IP池(proxy pool)。

music-163 [22]:爬取網易雲音樂所有歌曲的評論。

jandan_spider [23]:爬取煎蛋妹紙圖片。

CnblogsSpider [24]:cnblogs列表頁爬蟲。

spider_smooc [25]:爬取慕課網視訊。

CnkiSpider [26]:中國知網爬蟲。

knowsecSpider2 [27]:知道創宇爬蟲題目。

aiss-spider [28]:愛絲APP圖片爬蟲，以及免支付破解VIP看圖。

SinaSpider [29]:動態IP解決新浪的反爬蟲機制，快速抓取內容。

csdn-spider [30]:爬取CSDN上的部落格文章。

ProxySpider [31]:爬取西刺上的代理IP，並驗證代理可用性

  1. 糗事百科伺服器在升級當中，暫不做爬取練習-2019.12.8 ↩︎

  2. 原本的API介面失效了-2019.12.31 ↩︎

  3. 糗事百科伺服器在升級當中，暫不做爬取練習-2019.12.31 ↩︎

  4. 網頁結構有變動，無“七日熱門”板塊 ↩︎

相關文章