【Python資料採集】國家自然科學基金大資料知識管理服務門戶資料採集
具體需求:從https://kd.nsfc.cn/網站中根據關鍵詞搜尋專案資訊,收集列表中展示的資訊以及詳情頁面中的參與人員資訊等。
在開始幹活之前,我們首先要做的是弄清楚需求,然後分析目標網址,確定目標資料所在介面及請求引數等資訊。
經過分析,列表資料存在於介面/api/baseQuery/completionQueryResultsData中,並且請求返回的資料為加密資訊。
經過除錯分析發現,介面資料使用的是DES解密演算法進行的資料解密。接下來那就簡單一點了,扣一下JS指令碼或者使用python語言還原解密演算法即可。
至此,列表資料已解密完畢。示例資料如下:
詳情頁面的介面並未加密,找出相應的介面然後按照需要的引數進行傳參即可。
如有需要可掃描下方二維碼聯絡我。