python學習值爬取百度翻譯

青之羽發表於2020-10-26

# 功能:  進行爬蟲專案編寫
# 開發時間: 2020/10/26  10:12
import requests
import json
if __name__ == '__main__':
    #進行UA偽裝,將userAgent分裝到一個字典物件當中去,user-agent可以到瀏覽器當中通過抓包工具來獲取
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
    url = 'https://fanyi.baidu.com/sug'
    word=input("請輸入要查詢的單詞\n")
    data={
        'kw':word
    }
    response=requests.post(url,data=data,headers=headers)
    response.encoding='utf-8'#有時候所爬取的網頁會發生亂碼的現象,所以要對其進行編碼
    page_text=response.text#獲取請求的文字資訊
    #當伺服器物件所響應的字串資料型別為json的時候,可以呼叫json方法類獲取json字串物件
    dic_obj=response.json()#將獲取到的多組json字串資料以字典的方式來進行存放
    print(dic_obj)
    #對爬取到的資料物件進行持久化儲存
    filename=word+'.json'
    fp=open(filename,'w',encoding='utf-8')
    json.dump(dic_obj,fp,ensure_ascii=False)#因為獲取的字串物件是中文,所以不能夠進行ASCII編碼
    print("儲存完畢")

請輸入要查詢的單詞
application
{'errno': 0, 'data': [{'k': 'application', 'v': 'n. 申請; 請求; 申請書; 申請表; (尤指理論、發現等的)應用,運用; 塗抹; 敷用; 施用;'}, {'k': 'applications', 'v': 'n. 申請; 請求; 申請書; 申請表; (尤指理論、發現等的)應用,運用; 塗抹; 敷用; 施用;'}, {'k': 'Application Engineer', 'v': '網路 應用工程師; 產品應用工程師; 技術工程師; 應用工程師; 應用系統工程師;'}, {'k': 'application form', 'v': ' 申請表;'}, {'k': 'application letter', 'v': '網路 英語求職信; 申請信; 求職信; 英文求職信; 一封求職信;'}]}
儲存完畢

 

相關文章