使用Python和requests庫的簡單爬蟲程式
這是一個使用Python和requests庫的簡單爬蟲程式。我們將使用代理來爬取網頁內容。以下是程式碼和解釋:
```python
import requests
from fake_useragent import UserAgent
# 每行代理資訊
proxy_host = "jshk.com.cn"
# 建立一個代理器
proxy = {'http': ' + proxy_host + ':' + proxy_port}
# 建立一個使用者代理
ua = UserAgent()
headers = {
'User-Agent': ua.random
}
# 傳送請求
response = requests.get(' headers=headers, proxies=proxy)
# 列印響應
print(response.text)
```
步驟解釋:
1. 引入所需的庫requests和fake_useragent。
2. 定義代理資訊,包括主機名和埠號。
3. 建立一個代理器字典,其中http為代理伺服器的url。
4. 建立一個使用者代理,用於模擬瀏覽器。
5. 建立一個headers字典,其中User-Agent為隨機生成的使用者代理。
6. 傳送GET請求到指定URL,使用headers和proxy引數。
7. 列印響應的內容。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70032566/viewspace-2994960/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- python爬蟲:爬蟲的簡單介紹及requests模組的簡單使用Python爬蟲
- Python爬蟲神器requests庫的使用Python爬蟲
- 使用requests+BeautifulSoup的簡單爬蟲練習爬蟲
- Python代理IP爬蟲的簡單使用Python爬蟲
- 爬蟲之requests庫爬蟲
- python爬蟲常用庫之requests詳解Python爬蟲
- 簡單的爬蟲程式爬蟲
- Python2爬蟲利器:requests庫的基本用法Python爬蟲
- Python爬蟲 --- 2.3 Scrapy 框架的簡單使用Python爬蟲框架
- python爬蟲requests模組Python爬蟲
- 基於Python的簡單天氣爬蟲程式Python爬蟲
- python簡單爬蟲(二)Python爬蟲
- Python 爬蟲實戰(二):使用 requests-htmlPython爬蟲HTML
- Python網路爬蟲資料採集實戰:Requests和Re庫Python爬蟲
- 簡單瞭解python爬蟲Python爬蟲
- JB的Python之旅-爬蟲篇--requests&ScrapyPython爬蟲
- 如何使用fasthttp庫的爬蟲程式ASTHTTP爬蟲
- Python—Requests庫的爬取效能分析Python
- Python爬蟲之Selenium庫的基本使用Python爬蟲
- 爬蟲——Requests模組爬蟲
- 爬蟲-Requests模組爬蟲
- 6.爬蟲 requests庫講解 總結爬蟲
- 用PYTHON爬蟲簡單爬取網路小說Python爬蟲
- python 爬蟲 mc 皮膚站 little skin 的簡單爬取Python爬蟲
- python爬蟲利用requests製作代理池sPython爬蟲
- Python爬蟲教程-06-爬蟲實現百度翻譯(requests)Python爬蟲
- Python爬蟲十六式 - 第三式:Requests的用法Python爬蟲
- 基於bs4+requests的python爬蟲偽裝Python爬蟲
- python爬蟲簡單實現逆向JS解密Python爬蟲JS解密
- 使用nodeJS寫一個簡單的小爬蟲NodeJS爬蟲
- python多執行緒非同步爬蟲-Python非同步爬蟲試驗[Celery,gevent,requests]Python執行緒非同步爬蟲
- python最簡單的爬蟲 , 一看就會Python爬蟲
- 誰說爬蟲只能Python?看我用C#快速簡單實現爬蟲開發和演示!爬蟲PythonC#
- 5.爬蟲 requests庫講解 高階用法爬蟲
- python如何實現簡單的爬蟲功能?Python學習教程!Python爬蟲
- Python爬蟲之selenium庫使用詳解Python爬蟲
- Python《成功破解簡單的 動態載入 的爬蟲》Python爬蟲
- Python爬蟲之路-chrome在爬蟲中的使用Python爬蟲Chrome