將json資料轉換為Python字典將json資料轉換為Python字典
```python
import requests
from bs4 import BeautifulSoup
import json
# 定義代理資訊
proxy_host = '
proxy_port = 8000
# 定義要爬取的url
url = '
# 建立一個requests.Session物件,並設定代理
session = requests.Session()
session.proxies = {'http': f'}:{proxy_port}'}
# 傳送GET請求,獲取網頁內容
response = session.get(url)
# 使用BeautifulSoup解析網頁內容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到所有的elasticsearch返回結果的json資料
json_data = soup.find_all('script', type_='application/json')
# 將json資料轉換為Python字典
data = [json.loads(json_data[i].string) for i in range(len(json_data))]
# 列印資料
for item in data:
print(item)
```
步驟:
1. 匯入需要的庫:requests,BeautifulSoup,json。
2. 定義代理資訊,這裡使用的是一個免費的代理服務網站。
3. 定義要爬取的url,這裡爬取的是Elasticsearch的搜尋結果。
4. 建立一個requests.Session物件,並設定代理。
5. 使用requests的get方法傳送GET請求,獲取網頁內容。
6. 使用BeautifulSoup解析網頁內容,找到所有的json資料。
7. 使用json.loads將json資料轉換為Python字典。
8. 列印資料。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70032566/viewspace-2993212/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 為啥我的字典資料轉換不成 json?JSON
- Map 轉json資料,json資料轉換為MapJSON
- Python將xml格式轉換為json格式PythonXMLJSON
- $.parseJSON()方法將json資料轉換為物件直接量JSON物件
- 將Json資料轉換為ADO.NET DataSet物件JSON物件
- 將任意格式轉換為JSON資料格式的工具類JSON
- 把JSON資料格式轉換為Python的類物件JSONPython物件
- Python字典格式與JSON格式的相互轉換PythonJSON
- Gson轉換 — json資料轉換為Object實體公共方法JSONObject
- JavaScript將物件轉換為JSON格式字串JavaScript物件JSON字串
- eval()將JSON格式字串轉換為物件JSON字串物件
- JavaScript將JSON格式字串轉換為物件JavaScriptJSON字串物件
- Python將字串轉為字典最佳實踐Python字串
- js 將json字串轉換為json物件的方法解析JSON字串物件
- 資料集轉換JSONJSON
- PHP利用JSON將XML轉換為陣列PHPJSONXML陣列
- 在 AngularJS 中將 XML 轉換為 JSONAngularXMLJSON
- 用XML/XSLT將行資料轉換為列資料 (轉)XML
- 用兩種方法把JSON資料格式轉換為Python的類物件JSONPython物件
- Python JSON 使用指南:解析和轉換資料PythonJSON
- js將xml格式內容轉換為json格式XMLJSON
- jquery實現將字串轉換為json格式物件jQuery字串JSON物件
- jq 將form表單中的資料轉為jsonORMJSON
- java json字串轉換為物件,轉換為listJavaJSON字串物件
- 如何將Rust的“struct”轉換為資料流?RustStruct
- js 將json字串轉換為json格式物件程式碼例項JSON字串物件
- 將字典管理表空間轉換為本地管理表空間
- 將物件解析為JSON資料和將JSON資料解析為物件的簡單例項物件JSON單例
- [Object C]object c中完成將xml轉換為jsonObjectXMLJSON
- Java中將Excel轉換為JSON的兩種方法JavaExcelJSON
- Go語言轉換JSON資料GoJSON
- Java與Json資料格式轉換JavaJSON
- Python將經緯度資料轉換成浮點資料Python
- 將資料庫轉換為歸檔日誌模式資料庫模式
- openGauss資料庫將磁碟錶轉換為MOT資料庫
- eval() JSON轉換為物件JSON物件
- typeof-jsonc 將 JSONC/JSON 轉換為 TypeScript 宣告JSONTypeScript
- 在Python中將字典轉為成員變數的方法Python變數