【分享篇】Python爬蟲方向的第三方庫合集!
提到Python爬蟲,相信大家一定不陌生,Python可應用的領域不止爬蟲,還包括人工智慧、後端開發、機器學習等,今天借本篇文章給大家介紹下Python爬蟲的三方庫都有哪些,請看下文:
網路(通用)
urllib-網路庫(stdlib)
requests-網路庫
grab-網路庫(基於pycurl)
pycurl-網路庫(繫結libcurl)
urllib3-Python HTTP庫,安全連線池、支援檔案post、可用性高
httplib2-網路庫
RoboBrowser-一個簡單的、極具Python風格的Python庫,無需獨立的瀏覽器即可瀏覽網頁。
MechanicalSoup-一個與網站自動互動Python庫。
mechanize-有狀態、可程式設計的web瀏覽庫
socker-底層網路介面(stdlib)
Unirest for Python-Unirest是一套可用於多種語言的輕量級的HTTP庫
hyper-Python的HTTP/2客戶端
PySocks-SocksiPy更新並積極維護的版本,包括錯誤修復和一些其他的特徵。作為socket模組的直接替換。
非同步:
treq-類似於requests的API(基於twisted)
aiohttp-asyncio的HTTP客戶端/伺服器(PEP-3156)
網路爬蟲框架
功能齊全的爬蟲
grab-網路爬蟲框架(基於pycurl/multicur)
scrapy-網路爬蟲框架(基於twisted),不支援Python3
pyspider-一個強大的爬蟲系統
cola-一個分散式爬蟲框架
其他
portia-基於Scrapy的視覺化爬蟲
restkit-Python的HTTP資源工具包。它可以讓你輕鬆地訪問HTTP資源,並圍繞它建立的物件
demiurge-基於PyQuery的爬蟲微框架
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69952527/viewspace-2908001/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 盤點!最全的Python網路爬蟲第三方庫合集!Python爬蟲
- python爬蟲庫技術分享Python爬蟲
- Python爬蟲開源專案合集Python爬蟲
- 【Python篇】scrapy爬蟲Python爬蟲
- Python爬蟲教程+書籍分享Python爬蟲
- 8個高效的Python爬蟲框架分享!Python爬蟲框架
- 分享個自己Python爬蟲時的瀏覽器標識庫Python爬蟲瀏覽器
- 【Python學習】爬蟲爬蟲爬蟲爬蟲~Python爬蟲
- 爬蟲實戰專案合集爬蟲
- 為什麼學習python及爬蟲,Python爬蟲[入門篇]?Python爬蟲
- Python爬蟲之BeautifulSoup庫Python爬蟲
- 【python爬蟲】python爬蟲demoPython爬蟲
- JB的Python之旅-爬蟲篇-新浪微博內容爬取Python爬蟲
- JB的Python之旅-爬蟲篇--requests&ScrapyPython爬蟲
- python爬蟲之一:requests庫Python爬蟲
- Python爬蟲深造篇(四)——Scrapy爬蟲框架啟動一個真正的專案Python爬蟲框架
- python爬蟲---網頁爬蟲,圖片爬蟲,文章爬蟲,Python爬蟲爬取新聞網站新聞Python爬蟲網頁網站
- Java爬蟲與Python爬蟲的區別?Java爬蟲Python
- 「docker實戰篇」python的docker爬蟲技術-pythonDockerPython爬蟲
- python爬蟲 之 BeautifulSoup庫入門Python爬蟲
- 小白學python-爬蟲常用庫Python爬蟲
- 乾貨分享!Python網路爬蟲實戰Python爬蟲
- Python爬蟲之Selenium庫的基本使用Python爬蟲
- 我的 Python 網路爬蟲直播分享要來了!Python爬蟲
- 爬蟲基礎篇爬蟲
- python就是爬蟲嗎-python就是爬蟲嗎Python爬蟲
- C#爬蟲與反爬蟲--字型加密篇C#爬蟲加密
- Python 爬蟲進階篇-利用beautifulsoup庫爬取網頁文章內容實戰演示Python爬蟲網頁
- Python爬蟲之路-chrome在爬蟲中的使用Python爬蟲Chrome
- Python爬蟲(1.爬蟲的基本概念)Python爬蟲
- python 爬蟲Python爬蟲
- python爬蟲Python爬蟲
- Python爬蟲的用途Python爬蟲
- 「玩轉Python」打造十萬博文爬蟲篇Python爬蟲
- Python爬蟲之Scrapy學習(基礎篇)Python爬蟲
- python爬蟲瞭解第一篇Python爬蟲
- Python爬蟲怎麼入門-初級篇Python爬蟲
- JB的Python之旅-爬蟲篇--urllib和Beautiful SoupPython爬蟲