Python爬蟲教程-16-破解js加密例項（有道線上翻譯）

肖朋偉發表於2018-09-06
Python爬蟲JS加密

python爬蟲教程-16-破解js加密例項（有道線上翻譯）

  • 在爬蟲爬取網站的時候，經常遇到一些反爬蟲技術，比如：
    • 加cookie，身份驗證UserAgent
    • 圖形驗證，還有很難破解的滑動驗證
    • js簽名驗證，對傳輸資料進行加密處理
  • 對於js加密
    • 經過加密傳輸的就是密文，但是加密函式或者過程一定是在瀏覽器完成，
      也就是一定會把js程式碼暴露給使用者
    • 通過閱讀加密演算法，就可以模擬出加密過程，從而達到破解
    • 怎樣判斷網站有沒有使用js加密，很簡單，例如有道線上翻譯
      • 1.開啟【有道線上翻譯】網頁：http://fanyi.youdao.com/
      • 2.【右鍵檢查】，選中【Network】
      • 3.【輸入單詞】

      • 4.在請求中，找到關於翻譯內容的Form Data，可以看到有下面兩項說明js加密

        "salt": "1523100789519",
        "sign": "b8a55a436686cd8973fa46514ccedbe",

分析js

  • 一定要按照下面的順序，不然的話會有很多無用的東西干擾
  • 1.開啟【有道線上翻譯】網頁：http://fanyi.youdao.com/
  • 2.【右鍵檢查】，選中【Network】
  • 3.【輸入單詞】，【抓取js程式碼】
  • 操作截圖：
    這裡寫圖片描述
    這裡寫圖片描述
  • 我們得到的js程式碼是一行程式碼，是壓縮後的min程式碼，我們需要進行格式轉換
  • 4.開啟線上程式碼格式化網站：http://tool.oschina.net/codeformat/js
  • 5.將拷貝的一行格式的js程式碼，貼上在表單中，點選【格式化】
  • 操作截圖：
    這裡寫圖片描述
  • 然後將格式化後的js程式碼，拷貝到一個可以搜尋的程式碼編碼器，備用
  • 編寫第2個版本
  • 案例v18檔案：https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/py18js2.py
# 破解js加密，版本2
'''
通過在js檔案中查詢salt或者sign，可以找到
1.可以找到這個計算salt的公式
r = "" + ((new Date).getTime() + parseInt(10 * Math.random(), 10))
2.sign：n.md5("fanyideskweb" + t + r + "ebSeFb%=XZ%T[KZ)c(sy!");
md5 一共需要四個引數，第一個和第四個都是固定值得字串，第三個是所謂的salt，
第二個引數是輸入的需要翻譯的單詞
'''
from urllib import request, parse

def getSalt():
    '''
    salt的公式r = "" + ((new Date).getTime() + parseInt(10 * Math.random(), 10))
    把它翻譯成python程式碼
    '''
    import time, random

    salt = int(time.time()*1000) + random.randint(0, 10)

    return salt

def getMD5(v):
    import hashlib
    md5 = hashlib.md5()

    md5.update(v.encode('utf-8'))
    sign = md5.hexdigest()

    return sign

def getSign(key, salt):

    sign = "fanyideskweb" + key + str(salt) + "ebSeFb%=XZ%T[KZ)c(sy!"
    sign = getMD5(sign)
    return sign

def youdao(key):
    # url從http://fanyi.youdao.com輸入詞彙右鍵檢查得到
    url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=true"

    salt = getSalt()
    # data從右鍵檢查FormData得到
    data = {
        "i": key,
        "from": "AUTO",
        "to": "AUTO",
        "smartresult": "dict",
        "client": "fanyideskweb",
        "salt": str(salt),
        "sign": getSign(key, salt),
        "doctype": "json",
        "version": "2.1",
        "keyform": "fanyi.web",
        "action": "FY_BY_REALTIME",
        "typoResult": "false"

    }
    print(data)
    # 對data進行編碼，因為引數data需要bytes格式
    data = parse.urlencode(data).encode()

    # headers從右鍵檢查Request Headers得到
    headers = {
        "Accept": "application/json, text/javascript, */*; q=0.01",
        "Accept-Language": "zh-CN,zh;q=0.9",
        "Connection": "keep-alive",
        "Content-Length": len(data),
        "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
        "Cookie": "OUTFOX_SEARCH_USER_ID=685021846@10.168.8.76; OUTFOX_SEARCH_USER_ID_NCOO=366356259.5731474; _ntes_nnid=1f61e8bddac5e72660c6d06445559ffb,1535033370622; JSESSIONID=aaaVeQTI9KXfqfVBNsXvw; ___rl__test__cookies=1535204044230",
        "Host": "fanyi.youdao.com",
        "Origin": "http://fanyi.youdao.com",
        "Referer": "http://fanyi.youdao.com/",
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36",
        "X-Requested-With": "XMLHttpRequest"
    }

    req = request.Request(url=url, data=data, headers=headers)
    rsp = request.urlopen(req)

    html = rsp.read().decode()
    print(html)


if __name__ == '__main__':
    youdao("girl")

執行結果

返回翻譯後的值，才算是成功

注意
按照步驟，熟悉流程最重要

更多文章連結：Python 爬蟲隨筆

  • 本筆記不允許任何個人和組織轉載

相關文章