使用Python和requests庫的簡單爬蟲程式
這是一個使用Python和requests庫的簡單爬蟲程式。我們將使用代理來爬取網頁內容。以下是程式碼和解釋:
```python
import requests
from fake_useragent import UserAgent
# 每行代理資訊
proxy_host = "jshk.com.cn"
# 建立一個代理器
proxy = {'http': ' + proxy_host + ':' + proxy_port}
# 建立一個使用者代理
ua = UserAgent()
headers = {
'User-Agent': ua.random
}
# 傳送請求
response = requests.get(' headers=headers, proxies=proxy)
# 列印響應
print(response.text)
```
步驟解釋:
1. 引入所需的庫requests和fake_useragent。
2. 定義代理資訊,包括主機名和埠號。
3. 建立一個代理器字典,其中http為代理伺服器的url。
4. 建立一個使用者代理,用於模擬瀏覽器。
5. 建立一個headers字典,其中User-Agent為隨機生成的使用者代理。
6. 傳送GET請求到指定URL,使用headers和proxy引數。
7. 列印響應的內容。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70032566/viewspace-2994960/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- python爬蟲:爬蟲的簡單介紹及requests模組的簡單使用Python爬蟲
- Python爬蟲神器requests庫的使用Python爬蟲
- 使用requests+BeautifulSoup的簡單爬蟲練習爬蟲
- python requests庫的簡單使用Python
- python爬蟲之一:requests庫Python爬蟲
- Python 爬蟲實戰(一):使用 requests 和 BeautifulSoupPython爬蟲
- 爬蟲之requests庫爬蟲
- python爬蟲requests模組Python爬蟲
- 簡單的爬蟲程式爬蟲
- 一個簡單的python爬蟲程式Python爬蟲
- Python代理IP爬蟲的簡單使用Python爬蟲
- python爬蟲常用庫之requests詳解Python爬蟲
- Python2爬蟲利器:requests庫的基本用法Python爬蟲
- Python爬蟲 --- 2.3 Scrapy 框架的簡單使用Python爬蟲框架
- Python requests爬蟲例項Python爬蟲
- python簡單爬蟲(二)Python爬蟲
- Python 爬蟲實戰(二):使用 requests-htmlPython爬蟲HTML
- 基於Python的簡單天氣爬蟲程式Python爬蟲
- Python爬蟲學習筆記-2.Requests庫Python爬蟲筆記
- 簡單的Python爬蟲 就是這麼簡單Python爬蟲
- Python 爬蟲入門 (二) 使用Requests來爬取圖片Python爬蟲
- 爬蟲——Requests模組爬蟲
- 爬蟲-Requests模組爬蟲
- Python網路爬蟲資料採集實戰:Requests和Re庫Python爬蟲
- 簡單瞭解python爬蟲Python爬蟲
- Python簡單爬蟲專案Python爬蟲
- Python爬蟲學習(5): 簡單的爬取Python爬蟲
- (1)使用superagent和cheerio構建簡單爬蟲爬蟲
- JB的Python之旅-爬蟲篇--requests&ScrapyPython爬蟲
- 如何使用fasthttp庫的爬蟲程式ASTHTTP爬蟲
- Python3爬蟲實戰(requests模組)Python爬蟲
- Python Beautiful Soup+requests實現爬蟲Python爬蟲
- 用PYTHON爬蟲簡單爬取網路小說Python爬蟲
- 6.爬蟲 requests庫講解 總結爬蟲
- [python爬蟲] BeautifulSoup和Selenium簡單爬取知網資訊測試Python爬蟲
- Python—Requests庫的爬取效能分析Python
- 爬蟲入門系列(二):優雅的HTTP庫requests爬蟲HTTP
- 爬蟲-BeautifulSoup簡單分析和學習爬蟲