使用requests庫來傳送HTTP請求
首先,你需要安裝Python的requests和BeautifulSoup庫。然後,你可以使用requests庫來傳送HTTP請求,並用BeautifulSoup庫來解析HTML文件。
```python
import requests
from bs4 import BeautifulSoup
```
`requests.get(')` 這行程式碼會向 ' 傳送一個GET請求,然後返回響應。
`response.text` 這行程式碼會返回響應的文字內容。
```python
soup = BeautifulSoup(response.text, 'lxml')
```
`BeautifulSoup(response.text, 'lxml')` 這行程式碼會將響應的文字內容解析為BeautifulSoup物件。
`soup.find_all('a')` 這行程式碼會找到所有的`<a>`標籤。
```python
for link in soup.find_all('a'):
print(link.get('href'))
```
`for link in soup.find_all('a')` 這行程式碼會遍歷所有的`<a>`標籤。
`print(link.get('href'))` 這行程式碼會列印出每個`<a>`標籤的`href`屬性。
```python
# 使用代理
proxy_host = 'jshk.com.cn'
proxy = {
'http': ' + proxy_host + ':' + str(proxy_port),
'https': ' + proxy_host + ':' + str(proxy_port)
}
response = requests.get(', proxies=proxy)
```
`proxy = {'http': ' + proxy_host + ':' + str(proxy_port), 'https': ' + proxy_host + ':' + str(proxy_port)}` 這行程式碼會建立一個字典,表示HTTP代理。
`response = requests.get(', proxies=proxy)` 這行程式碼會使用HTTP代理傳送GET請求。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70032566/viewspace-2993422/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 【python介面自動化】- 使用requests庫傳送http請求PythonHTTP
- 使用 request 和 cheerio 庫來傳送 HTTP 請求HTTP
- Go使用net/http庫傳送GET請求GoHTTP
- 使用httpclient傳送http請求HTTPclient
- 使用Feign傳送HTTP請求HTTP
- perl傳送http請求HTTP
- java傳送http請求JavaHTTP
- nodejs使用request傳送http請求NodeJSHTTP
- 『居善地』介面測試 — 5、使用Requests庫傳送POST請求
- python傳送HTTP POST請求PythonHTTP
- .net 後臺 傳送http請求HTTP
- oracle使用utl_http包傳送post請求OracleHTTP
- java傳送http的get、post請求JavaHTTP
- 在Java中,使用HttpUtils實現傳送HTTP請求JavaHTTP
- 【轉】怎麼用PHP傳送HTTP請求(POST請求、GET請求)?PHPHTTP
- 使⽤用Requests庫構建⼀一個HTTP請求HTTP
- Go HTTP GET 請求可以傳送 body 嗎GoHTTP
- PHP 傳送 HTTP 請求的幾種方式PHPHTTP
- Windows Phone 8.1 傳送http 網路請求。WindowsHTTP
- php curl_multi批量傳送http請求PHPHTTP
- 使用HttpClient傳送GET請求HTTPclient
- Golang:使用go-resty/resty傳送http請求get和postGolangRESTHTTP
- 『居善地』介面測試 — 7、Requests庫使用proxies代理髮送請求
- 理解ASP.NET Core - 傳送Http請求(HttpClient)ASP.NETHTTPclient
- wireshark抓包curl傳送http2請求HTTP
- postman傳送請求使用篇(二)Postman
- 使用C#傳送POST請求C#
- 如何使用jMeter傳送兩個邏輯上相關的HTTP請求JMeterHTTP
- Jmeter —— jmeter利用取樣器中http傳送請求JMeterHTTP
- jQuery裡如何使用ajax傳送請求jQuery
- 使用Postman傳送POST請求的指南Postman
- 傳入http請求的UserAgent 根據它判斷是手機還是電腦傳送過來的請求HTTP
- Vue 使用 Axios 傳送請求的請求體問題VueiOS
- Postman傳送Post請求Postman
- Java傳送Post請求Java
- 傳送GET請求 示例
- HttpClient--傳送請求HTTPclient
- 使用 requests 庫傳送多部分表單資料