使用requests庫來傳送HTTP請求
首先,你需要安裝Python的requests和BeautifulSoup庫。然後,你可以使用requests庫來傳送HTTP請求,並用BeautifulSoup庫來解析HTML文件。
```python
import requests
from bs4 import BeautifulSoup
```
`requests.get(')` 這行程式碼會向 ' 傳送一個GET請求,然後返回響應。
`response.text` 這行程式碼會返回響應的文字內容。
```python
soup = BeautifulSoup(response.text, 'lxml')
```
`BeautifulSoup(response.text, 'lxml')` 這行程式碼會將響應的文字內容解析為BeautifulSoup物件。
`soup.find_all('a')` 這行程式碼會找到所有的`<a>`標籤。
```python
for link in soup.find_all('a'):
print(link.get('href'))
```
`for link in soup.find_all('a')` 這行程式碼會遍歷所有的`<a>`標籤。
`print(link.get('href'))` 這行程式碼會列印出每個`<a>`標籤的`href`屬性。
```python
# 使用代理
proxy_host = 'jshk.com.cn'
proxy = {
'http': ' + proxy_host + ':' + str(proxy_port),
'https': ' + proxy_host + ':' + str(proxy_port)
}
response = requests.get(', proxies=proxy)
```
`proxy = {'http': ' + proxy_host + ':' + str(proxy_port), 'https': ' + proxy_host + ':' + str(proxy_port)}` 這行程式碼會建立一個字典,表示HTTP代理。
`response = requests.get(', proxies=proxy)` 這行程式碼會使用HTTP代理傳送GET請求。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70032566/viewspace-2993422/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 【python介面自動化】- 使用requests庫傳送http請求PythonHTTP
- 使用 request 和 cheerio 庫來傳送 HTTP 請求HTTP
- Go使用net/http庫傳送GET請求GoHTTP
- 使用Feign傳送HTTP請求HTTP
- nodejs使用request傳送http請求NodeJSHTTP
- java傳送http請求JavaHTTP
- 『居善地』介面測試 — 5、使用Requests庫傳送POST請求
- python傳送HTTP POST請求PythonHTTP
- 在Java中,使用HttpUtils實現傳送HTTP請求JavaHTTP
- 使⽤用Requests庫構建⼀一個HTTP請求HTTP
- Go HTTP GET 請求可以傳送 body 嗎GoHTTP
- Golang:使用go-resty/resty傳送http請求get和postGolangRESTHTTP
- 『居善地』介面測試 — 7、Requests庫使用proxies代理髮送請求
- 理解ASP.NET Core - 傳送Http請求(HttpClient)ASP.NETHTTPclient
- wireshark抓包curl傳送http2請求HTTP
- python+pytest介面自動化(4)-requests傳送get請求Python
- 如何使用jMeter傳送兩個邏輯上相關的HTTP請求JMeterHTTP
- Vue 使用 Axios 傳送請求的請求體問題VueiOS
- Jmeter —— jmeter利用取樣器中http傳送請求JMeterHTTP
- 使用Postman傳送POST請求的指南Postman
- jQuery裡如何使用ajax傳送請求jQuery
- vue中使用axios傳送ajax請求VueiOS
- 首頁 使用axios 傳送ajax請求iOS
- 傳入http請求的UserAgent 根據它判斷是手機還是電腦傳送過來的請求HTTP
- 使用 requests 庫傳送多部分表單資料
- Postman傳送Post請求Postman
- 傳送GET請求 示例
- Java傳送Post請求Java
- Java用HttpClient3傳送http/https協議get/post請求,傳送map,jsoJavaHTTPclient協議JS
- postman(二):使用postman傳送get or post請求Postman
- HTTP GET請求傳bodyHTTP
- SpringMVC中如何傳送GET請求、POST請求、PUT請求、DELETE請求。SpringMVCdelete
- 在沒有curl和wget情況下傳送HTTP請求wgetHTTP
- 如何檢視 Chrome 外掛傳送的 HTTP 請求(或 localStorage)?ChromeHTTP
- 在ASP.NET Core中用HttpClient(三)——傳送HTTP PATCH請求ASP.NETHTTPclient
- 如何傳送請求以及AJAX
- RxHttp 一條鏈傳送請求,新一代Http請求神器(一)HTTP
- SpringBoot使用Axios傳送請求,引數處理Spring BootiOS