使用requests庫來傳送HTTP請求

金木大大大發表於2023-11-08

 首先,你需要安裝Python的requests和BeautifulSoup庫。然後,你可以使用requests庫來傳送HTTP請求,並用BeautifulSoup庫來解析HTML文件。


```python

import requests

from bs4 import BeautifulSoup

```


`requests.get(')` 這行程式碼會向 ' 傳送一個GET請求,然後返回響應。


`response.text` 這行程式碼會返回響應的文字內容。


```python

soup = BeautifulSoup(response.text, 'lxml')

```


`BeautifulSoup(response.text, 'lxml')` 這行程式碼會將響應的文字內容解析為BeautifulSoup物件。


`soup.find_all('a')` 這行程式碼會找到所有的`<a>`標籤。


```python

for link in soup.find_all('a'):

    print(link.get('href'))

```


`for link in soup.find_all('a')` 這行程式碼會遍歷所有的`<a>`標籤。


`print(link.get('href'))` 這行程式碼會列印出每個`<a>`標籤的`href`屬性。


```python

# 使用代理

proxy_host = 'jshk.com.cn'



proxy = {

    'http': ' + proxy_host + ':' + str(proxy_port),

    'https': ' + proxy_host + ':' + str(proxy_port)

}


response = requests.get(', proxies=proxy)

```


`proxy = {'http': ' + proxy_host + ':' + str(proxy_port), 'https': ' + proxy_host + ':' + str(proxy_port)}` 這行程式碼會建立一個字典,表示HTTP代理。


`response = requests.get(', proxies=proxy)` 這行程式碼會使用HTTP代理傳送GET請求。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70032566/viewspace-2993422/,如需轉載,請註明出處,否則將追究法律責任。

相關文章