python 爬蟲 簡單實現百度翻譯

TNT_God發表於2020-04-14
Python爬蟲

環境

python版本號 系統 遊覽器
python 3.7.2 win7 google chrome

關於本文

本文將會通過爬蟲的方式實現簡單的百度翻譯。本文中的程式碼只供學習，不允許作為於商務作用。商務作用請前往api.fanyi.baidu.com購買付費的api。若有侵犯，立即刪文！

實現思路

在網站檔案中找到隱藏的免費api。傳入api所需要的引數並對其發出請求。在返回的json結果裡找到相應的翻譯結果。

百度翻譯的反爬機制
  • 由js演算法生成的sign
  • cookie檢測
  • token暗號

在網站檔案中找到隱藏的免費api

進入百度翻譯，隨便輸入一段需要翻譯的文字。當翻譯結果出來的時候，按下F12，選擇到NETWORK，最後點進XHR檔案。這個時候，網站檔案都已經載入完了，所以要F5重新整理一下。

python 爬蟲 簡單實現百度翻譯

重新整理了之後，我們就能發現一個以v2transapi?開頭的檔案，沒錯，它就是我們要找的api介面。讓我們驗證一下，點進去檔案-preview，我們就可以在json格式的資料裡面找到翻譯結果，驗證成功。
另外，我們還需要獲取我們的cookie和token，在之後的反爬機制中我們需要用到它們，位置如以下。
cookie位置：

python 爬蟲 簡單實現百度翻譯
token位置：

python 爬蟲 簡單實現百度翻譯

api資訊

介面：https://fanyi.baidu.com/v2transapi

請求方式：post

請求引數大全

引數 介紹
from 源語言
to 目標語言
query 翻譯文字
sign 由js演算法生成的簽名（反爬）
token 請求暗號

開始寫程式碼

匯入request和execjs庫

import requests
import execjs
  • requests HTTP庫，用於爬蟲
  • execjs 用於呼叫js程式碼

    反反爬蟲

    由於百度翻譯有cookie識別反爬機制，所以我們設定好我們剛剛獲取到的cookie來進行掩護網路蜘蛛身份。
    headers = {'cookie':'請在這裡輸入你的cookie'}
    另外，我們還要設定好token（暗號）。
    token = '請在這裡放置你的token'

最後只剩下sign反爬機制了，sign是由js演算法給譯文生成的一個簽名。我在網上搜了一下，找到了相應的js演算法，分享給大家。

var i = "320305.131321201"
function n(r, o) {
    for (var t = 0; t < o.length - 2; t += 3) {
        var a = o.charAt(t + 2);
        a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a), a = "+" === o.charAt(t + 1) ? r >>> a : r << a, r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
    }
    return r
}


function e(r) {
    var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
    if (null === o) {
        var t = r.length;
        t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
    } else {
        for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++) "" !== e[C] && f.push.apply(f, a(e[C].split(""))), C !== h - 1 && f.push(o[C]);
        var g = f.length;
        g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
    }
    var u = void 0, l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
    u = null !== i ? i : (i = window[l] || "") || "";
    for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
        var A = r.charCodeAt(v);
        128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)), S[c++] = A >> 18 | 240, S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224, S[c++] = A >> 6 & 63 | 128), S[c++] = 63 & A | 128)
    }
    for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++) p += S[b], p = n(p, F);
    return p = n(p, D), p ^= s, 0 > p && (p = (2147483647 & p) + 2147483648), p %= 1e6, p.toString() + "." + (p ^ m)
}

等等，我們不是在用python進行爬蟲嗎？那我們又不會js程式碼，怎麼呼叫啊？
還好python有著強大的第三方庫，當然也少不了呼叫js程式碼的庫。呼叫js程式碼的庫很多，但是本人還是推薦大家使用execjs，簡單功能又完整。

在呼叫js演算法程式碼之前，我們還需要讓使用者輸入一段譯文。

q = input('翻譯：')

之後我們就能使用execjs的compile和call方法來獲取sign了。

js = '''var i = "320305.131321201"
function n(r, o) {
    for (var t = 0; t < o.length - 2; t += 3) {
        var a = o.charAt(t + 2);
        a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a), a = "+" === o.charAt(t + 1) ? r >>> a : r << a, r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
    }
    return r
}


function e(r) {
    var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
    if (null === o) {
        var t = r.length;
        t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
    } else {
        for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++) "" !== e[C] && f.push.apply(f, a(e[C].split(""))), C !== h - 1 && f.push(o[C]);
        var g = f.length;
        g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
    }
    var u = void 0, l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
    u = null !== i ? i : (i = window[l] || "") || "";
    for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
        var A = r.charCodeAt(v);
        128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)), S[c++] = A >> 18 | 240, S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224, S[c++] = A >> 6 & 63 | 128), S[c++] = 63 & A | 128)
    }
    for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++) p += S[b], p = n(p, F);
    return p = n(p, D), p ^= s, 0 > p && (p = (2147483647 & p) + 2147483648), p %= 1e6, p.toString() + "." + (p ^ m)
}
'''
sign = execjs.compile(js).call("e",q)

（以上程式碼獲取了sign）

經過一系列的反反爬蟲準備，我們就可以設定好的“源語言”和“目標語言”最後的這兩個引數了。

From = 'en'
To = 'zh'

（以上程式碼代表著英譯中，若要進行其它語言的翻譯，請輸入語言對應的英文縮寫，英文縮寫對應表將會放到本文最後）
接著，我們就能構建引數json了。

data = {'from':From,
'to':To,
'query':q,
'sign':sign,
'token':'14b5f31e3c65d89a0b1c3f756e53942e'}

最後，我們就能請求資料並列印了。

text = requests.post(url,headers=headers,data=data).json()
print(text)

我們發現列印出來的結果是個json字典，翻譯結果就在其中，我們只需要翻譯結果，所以我們可以索引翻譯結果的位置再列印。

text = requests.post(url,headers=headers,data=data).json()['trans_result']['data'][0]['dst']
print(text)

執行結果：

python 爬蟲 簡單實現百度翻譯

完整程式碼：

import requests
import execjs
url = 'https://fanyi.baidu.com/v2transapi'
headers = {'cookie':'你的cookie'}
js = '''var i = "320305.131321201"
function n(r, o) {
    for (var t = 0; t < o.length - 2; t += 3) {
        var a = o.charAt(t + 2);
        a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a), a = "+" === o.charAt(t + 1) ? r >>> a : r << a, r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
    }
    return r
}


function e(r) {
    var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
    if (null === o) {
        var t = r.length;
        t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
    } else {
        for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++) "" !== e[C] && f.push.apply(f, a(e[C].split(""))), C !== h - 1 && f.push(o[C]);
        var g = f.length;
        g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
    }
    var u = void 0, l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
    u = null !== i ? i : (i = window[l] || "") || "";
    for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
        var A = r.charCodeAt(v);
        128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)), S[c++] = A >> 18 | 240, S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224, S[c++] = A >> 6 & 63 | 128), S[c++] = 63 & A | 128)
    }
    for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++) p += S[b], p = n(p, F);
    return p = n(p, D), p ^= s, 0 > p && (p = (2147483647 & p) + 2147483648), p %= 1e6, p.toString() + "." + (p ^ m)
}
'''

From = '源語言'
To = '目標語言'
token = '你的token'
q = input('翻譯：')
sign = execjs.compile(js).call("e",q)
data = {'from':From,
'to':To,
'query':q,
'sign':sign,
'token':token}


text = requests.post(url,headers=headers,data=data).json()['trans_result']['data'][0]['dst']
print(text)

語言英文縮寫對應表

{
                'zh': '中文','jp': '日語','jpka': '日語假名','th': '泰語','fra': '法語','en': '英語','spa': '西班牙語','kor': '韓語','tr': '土耳其語','vie': '越南語','ms': '馬來語','de': '德語','ru': '俄語','ir': '伊朗語','ara': '阿拉伯語','est': '愛沙尼亞語','be': '白俄羅斯語','bul': '保加利亞語','hi': '印地語','is': '冰島語','pl': '波蘭語','fa': '波斯語','dan': '丹麥語','tl': '菲律賓語','fin': '芬蘭語','nl': '荷蘭語','ca': '加泰羅尼亞語','cs': '捷克語','hr': '克羅埃西亞語','lv': '拉脫維亞語','lt': '立陶宛語','rom': '羅馬尼亞語','af': '南非語','no': '挪威語','pt_BR': '巴西語','pt': '葡萄牙語','swe': '瑞典語','sr': '塞爾維亞語','eo': '世界語','sk': '斯洛伐克語','slo': '斯洛維尼亞語','sw': '斯瓦希里語','uk': '烏克蘭語','iw': '希伯來語','el': '希臘語','hu': '匈牙利語','hy': '亞美尼亞語','it': '義大利語','id': '印尼語','sq': '阿爾巴尼亞語','am': '阿姆哈拉語','as': '阿薩姆語','az': '亞塞拜然語','eu': '巴斯克語','bn': '孟加拉語','bs': '波斯尼亞語','gl': '加利西亞語','ka': '喬治亞語','gu': '古吉拉特語','ha': '豪薩語','ig': '伊博語','iu': '因紐特語','ga': '愛爾蘭語','zu': '祖魯語','kn': '卡納達語','kk': '哈薩克語','ky': '吉爾吉斯語','lb': '盧森堡語','mk': '馬其頓語','mt': '馬耳他語','mi': '毛利語','mr': '馬拉提語','ne': '尼泊爾語','or': '奧利亞語','pa': '旁遮普語','qu': '凱楚亞語','tn': '塞茨瓦納語','si': '僧加羅語','ta': '泰米爾語','tt': '塔塔爾語','te': '泰盧固語','ur': '烏爾都語','uz': '烏茲別克語','cy': '威爾士語','yo': '約魯巴語','yue': '粵語','wyw': '文言文','cht': '中文繁體'    }
本作品採用《CC 協議》，轉載必須註明作者和本文連結

WOW~

相關文章