將json資料轉換為Python字典將json資料轉換為Python字典

金木大大大發表於2023-11-07

```python

import requests

from bs4 import BeautifulSoup

import json


# 定義代理資訊

proxy_host = '

proxy_port = 8000


# 定義要爬取的url

url = '


# 建立一個requests.Session物件,並設定代理

session = requests.Session()

session.proxies = {'http': f'}:{proxy_port}'}


# 傳送GET請求,獲取網頁內容

response = session.get(url)


# 使用BeautifulSoup解析網頁內容

soup = BeautifulSoup(response.text, 'html.parser')


# 找到所有的elasticsearch返回結果的json資料

json_data = soup.find_all('script', type_='application/json')


# 將json資料轉換為Python字典

data = [json.loads(json_data[i].string) for i in range(len(json_data))]


# 列印資料

for item in data:

    print(item)

```


步驟:


1. 匯入需要的庫:requests,BeautifulSoup,json。

2. 定義代理資訊,這裡使用的是一個免費的代理服務網站。

3. 定義要爬取的url,這裡爬取的是Elasticsearch的搜尋結果。

4. 建立一個requests.Session物件,並設定代理。

5. 使用requests的get方法傳送GET請求,獲取網頁內容。

6. 使用BeautifulSoup解析網頁內容,找到所有的json資料。

7. 使用json.loads將json資料轉換為Python字典。

8. 列印資料。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70032566/viewspace-2993212/,如需轉載,請註明出處,否則將追究法律責任。

相關文章