將json資料轉換為Python字典將json資料轉換為Python字典
```python
import requests
from bs4 import BeautifulSoup
import json
# 定義代理資訊
proxy_host = '
proxy_port = 8000
# 定義要爬取的url
url = '
# 建立一個requests.Session物件,並設定代理
session = requests.Session()
session.proxies = {'http': f'}:{proxy_port}'}
# 傳送GET請求,獲取網頁內容
response = session.get(url)
# 使用BeautifulSoup解析網頁內容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到所有的elasticsearch返回結果的json資料
json_data = soup.find_all('script', type_='application/json')
# 將json資料轉換為Python字典
data = [json.loads(json_data[i].string) for i in range(len(json_data))]
# 列印資料
for item in data:
print(item)
```
步驟:
1. 匯入需要的庫:requests,BeautifulSoup,json。
2. 定義代理資訊,這裡使用的是一個免費的代理服務網站。
3. 定義要爬取的url,這裡爬取的是Elasticsearch的搜尋結果。
4. 建立一個requests.Session物件,並設定代理。
5. 使用requests的get方法傳送GET請求,獲取網頁內容。
6. 使用BeautifulSoup解析網頁內容,找到所有的json資料。
7. 使用json.loads將json資料轉換為Python字典。
8. 列印資料。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70032566/viewspace-2993212/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 為啥我的字典資料轉換不成 json?JSON
- Python將xml格式轉換為json格式PythonXMLJSON
- Python字典格式與JSON格式的相互轉換PythonJSON
- 把JSON資料格式轉換為Python的類物件JSONPython物件
- JavaScript將物件轉換為JSON格式字串JavaScript物件JSON字串
- eval()將JSON格式字串轉換為物件JSON字串物件
- Python將字串轉為字典最佳實踐Python字串
- 資料集轉換JSONJSON
- Python JSON 使用指南:解析和轉換資料PythonJSON
- 用兩種方法把JSON資料格式轉換為Python的類物件JSONPython物件
- typeof-jsonc 將 JSONC/JSON 轉換為 TypeScript 宣告JSONTypeScript
- jq 將form表單中的資料轉為jsonORMJSON
- Java中將Excel轉換為JSON的兩種方法JavaExcelJSON
- eval() JSON轉換為物件JSON物件
- (IOS)JSON字串轉字典iOSJSON字串
- Python將經緯度資料轉換成浮點資料Python
- openGauss資料庫將磁碟錶轉換為MOT資料庫
- 如何將Rust的“struct”轉換為資料流?RustStruct
- 將物件解析為JSON資料和將JSON資料解析為物件的簡單例項物件JSON單例
- 在Python中將字典轉為成員變數的方法Python變數
- json字串 轉換為陣列JSON字串陣列
- 【python介面自動化】- 使用json及jsonpath轉換和提取資料PythonJSON
- Python實現批次將ppt轉換為pdfPython
- 如何使用python把json檔案轉換為csv檔案PythonJSON
- 利用Jquery的map函式將json資料行轉化為表格jQuery函式JSON
- 【python】str與json型別轉換PythonJSON型別
- JSON字串轉換為物件直接量JSON字串物件
- 最有效的ResultSet轉換為JSON?JSON
- python中列表、字典和字串的互相轉換Python字串
- C#中JSON字串和Dictionary字典型別的相互轉換C#JSON字串型別
- json與字典的相互轉化JSON
- 如何在Python中將語音轉換為文字Python
- Python 將Word轉換為JPG、PNG、SVG圖片PythonSVG
- SparkSQL,如何將DataFrame轉為json格式SparkSQLJSON
- java將物件轉為json的方式Java物件JSON
- Golang 將資料庫轉換為gorm結構和RESTful apiGolang資料庫ORMRESTAPI
- 在.NET使用JSON作為資料交換格式JSON
- 使用Visual Studio將JSON格式資料自動轉化為對應的類JSON