python 爬蟲 簡單實現百度翻譯

TNT_God發表於2020-04-14
Python爬蟲
系列文章：
python 爬蟲 簡單實現百度翻譯 python 爬蟲 爬取酷狗音樂 python 爬蟲 blessing skin 的簡單爬取 python 爬蟲 mc 皮膚站 little skin 的簡單爬取

環境

python版本號 系統 遊覽器
python 3.7.2 win7 google chrome

關於本文

本文將會通過爬蟲的方式實現簡單的百度翻譯。本文中的程式碼只供學習，不允許作為於商務作用。商務作用請前往api.fanyi.baidu.com購買付費的api。若有侵犯，立即刪文！

實現思路

在網站檔案中找到隱藏的免費api。傳入api所需要的引數並對其發出請求。在返回的json結果裡找到相應的翻譯結果。

百度翻譯的反爬機制
  • 由js演算法生成的sign
  • cookie檢測
  • token暗號

在網站檔案中找到隱藏的免費api

進入百度翻譯，隨便輸入一段需要翻譯的文字。當翻譯結果出來的時候，按下F12，選擇到NETWORK，最後點進XHR檔案。這個時候，網站檔案都已經載入完了，所以要F5重新整理一下。

python 爬蟲 簡單實現百度翻譯

重新整理了之後，我們就能發現一個以v2transapi?開頭的檔案，沒錯，它就是我們要找的api介面。讓我們驗證一下，點進去檔案-preview，我們就可以在json格式的資料裡面找到翻譯結果，驗證成功。
另外，我們還需要獲取我們的cookie和token，在之後的反爬機制中我們需要用到它們，位置如以下。
cookie位置：

python 爬蟲 簡單實現百度翻譯
token位置：

python 爬蟲 簡單實現百度翻譯

api資訊

介面：https://fanyi.baidu.com/v2transapi

請求方式：post

請求引數大全

引數 介紹
from 源語言
to 目標語言
query 翻譯文字
sign 由js演算法生成的簽名（反爬）
token 請求暗號

開始寫程式碼

匯入request和execjs庫

import requests
import execjs
  • requests HTTP庫，用於爬蟲
  • execjs 用於呼叫js程式碼

    反反爬蟲

    由於百度翻譯有cookie識別反爬機制，所以我們設定好我們剛剛獲取到的cookie來進行掩護網路蜘蛛身份。
    headers = {'cookie':'請在這裡輸入你的cookie'}
    另外，我們還要設定好token（暗號）。
    token = '請在這裡放置你的token'

最後只剩下sign反爬機制了，sign是由js演算法給譯文生成的一個簽名。我在網上搜了一下，找到了相應的js演算法，分享給大家。

var i = "320305.131321201"
function n(r, o) {
    for (var t = 0; t < o.length - 2; t += 3) {
        var a = o.charAt(t + 2);
        a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a), a = "+" === o.charAt(t + 1) ? r >>> a : r << a, r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
    }
    return r
}


function e(r) {
    var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
    if (null === o) {
        var t = r.length;
        t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
    } else {
        for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++) "" !== e[C] && f.push.apply(f, a(e[C].split(""))), C !== h - 1 && f.push(o[C]);
        var g = f.length;
        g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
    }
    var u = void 0, l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
    u = null !== i ? i : (i = window[l] || "") || "";
    for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
        var A = r.charCodeAt(v);
        128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)), S[c++] = A >> 18 | 240, S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224, S[c++] = A >> 6 & 63 | 128), S[c++] = 63 & A | 128)
    }
    for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++) p += S[b], p = n(p, F);
    return p = n(p, D), p ^= s, 0 > p && (p = (2147483647 & p) + 2147483648), p %= 1e6, p.toString() + "." + (p ^ m)
}

等等，我們不是在用python進行爬蟲嗎？那我們又不會js程式碼，怎麼呼叫啊？
還好python有著強大的第三方庫，當然也少不了呼叫js程式碼的庫。呼叫js程式碼的庫很多，但是本人還是推薦大家使用execjs，簡單功能又完整。

在呼叫js演算法程式碼之前，我們還需要讓使用者輸入一段譯文。

q = input('翻譯：')

之後我們就能使用execjs的compile和call方法來獲取sign了。

js = '''var i = "320305.131321201"
function n(r, o) {
    for (var t = 0; t < o.length - 2; t += 3) {
        var a = o.charAt(t + 2);
        a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a), a = "+" === o.charAt(t + 1) ? r >>> a : r << a, r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
    }
    return r
}


function e(r) {
    var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
    if (null === o) {
        var t = r.length;
        t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
    } else {
        for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++) "" !== e[C] && f.push.apply(f, a(e[C].split(""))), C !== h - 1 && f.push(o[C]);
        var g = f.length;
        g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
    }
    var u = void 0, l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
    u = null !== i ? i : (i = window[l] || "") || "";
    for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
        var A = r.charCodeAt(v);
        128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)), S[c++] = A >> 18 | 240, S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224, S[c++] = A >> 6 & 63 | 128), S[c++] = 63 & A | 128)
    }
    for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++) p += S[b], p = n(p, F);
    return p = n(p, D), p ^= s, 0 > p && (p = (2147483647 & p) + 2147483648), p %= 1e6, p.toString() + "." + (p ^ m)
}
'''
sign = execjs.compile(js).call("e",q)

（以上程式碼獲取了sign）

經過一系列的反反爬蟲準備，我們就可以設定好的“源語言”和“目標語言”最後的這兩個引數了。

From = 'en'
To = 'zh'

（以上程式碼代表著英譯中，若要進行其它語言的翻譯，請輸入語言對應的英文縮寫，英文縮寫對應表將會放到本文最後）
接著，我們就能構建引數json了。

data = {'from':From,
'to':To,
'query':q,
'sign':sign,
'token':'14b5f31e3c65d89a0b1c3f756e53942e'}

最後，我們就能請求資料並列印了。

text = requests.post(url,headers=headers,data=data).json()
print(text)

我們發現列印出來的結果是個json字典，翻譯結果就在其中，我們只需要翻譯結果，所以我們可以索引翻譯結果的位置再列印。

text = requests.post(url,headers=headers,data=data).json()['trans_result']['data'][0]['dst']
print(text)

執行結果：

python 爬蟲 簡單實現百度翻譯

完整程式碼：

import requests
import execjs
url = 'https://fanyi.baidu.com/v2transapi'
headers = {'cookie':'你的cookie'}
js = '''var i = "320305.131321201"
function n(r, o) {
    for (var t = 0; t < o.length - 2; t += 3) {
        var a = o.charAt(t + 2);
        a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a), a = "+" === o.charAt(t + 1) ? r >>> a : r << a, r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
    }
    return r
}


function e(r) {
    var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
    if (null === o) {
        var t = r.length;
        t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
    } else {
        for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++) "" !== e[C] && f.push.apply(f, a(e[C].split(""))), C !== h - 1 && f.push(o[C]);
        var g = f.length;
        g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
    }
    var u = void 0, l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
    u = null !== i ? i : (i = window[l] || "") || "";
    for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
        var A = r.charCodeAt(v);
        128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)), S[c++] = A >> 18 | 240, S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224, S[c++] = A >> 6 & 63 | 128), S[c++] = 63 & A | 128)
    }
    for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++) p += S[b], p = n(p, F);
    return p = n(p, D), p ^= s, 0 > p && (p = (2147483647 & p) + 2147483648), p %= 1e6, p.toString() + "." + (p ^ m)
}
'''

From = '源語言'
To = '目標語言'
token = '你的token'
q = input('翻譯：')
sign = execjs.compile(js).call("e",q)
data = {'from':From,
'to':To,
'query':q,
'sign':sign,
'token':token}


text = requests.post(url,headers=headers,data=data).json()['trans_result']['data'][0]['dst']
print(text)

語言英文縮寫對應表

{
                'zh': '中文','jp': '日語','jpka': '日語假名','th': '泰語','fra': '法語','en': '英語','spa': '西班牙語','kor': '韓語','tr': '土耳其語','vie': '越南語','ms': '馬來語','de': '德語','ru': '俄語','ir': '伊朗語','ara': '阿拉伯語','est': '愛沙尼亞語','be': '白俄羅斯語','bul': '保加利亞語','hi': '印地語','is': '冰島語','pl': '波蘭語','fa': '波斯語','dan': '丹麥語','tl': '菲律賓語','fin': '芬蘭語','nl': '荷蘭語','ca': '加泰羅尼亞語','cs': '捷克語','hr': '克羅埃西亞語','lv': '拉脫維亞語','lt': '立陶宛語','rom': '羅馬尼亞語','af': '南非語','no': '挪威語','pt_BR': '巴西語','pt': '葡萄牙語','swe': '瑞典語','sr': '塞爾維亞語','eo': '世界語','sk': '斯洛伐克語','slo': '斯洛維尼亞語','sw': '斯瓦希里語','uk': '烏克蘭語','iw': '希伯來語','el': '希臘語','hu': '匈牙利語','hy': '亞美尼亞語','it': '義大利語','id': '印尼語','sq': '阿爾巴尼亞語','am': '阿姆哈拉語','as': '阿薩姆語','az': '亞塞拜然語','eu': '巴斯克語','bn': '孟加拉語','bs': '波斯尼亞語','gl': '加利西亞語','ka': '喬治亞語','gu': '古吉拉特語','ha': '豪薩語','ig': '伊博語','iu': '因紐特語','ga': '愛爾蘭語','zu': '祖魯語','kn': '卡納達語','kk': '哈薩克語','ky': '吉爾吉斯語','lb': '盧森堡語','mk': '馬其頓語','mt': '馬耳他語','mi': '毛利語','mr': '馬拉提語','ne': '尼泊爾語','or': '奧利亞語','pa': '旁遮普語','qu': '凱楚亞語','tn': '塞茨瓦納語','si': '僧加羅語','ta': '泰米爾語','tt': '塔塔爾語','te': '泰盧固語','ur': '烏爾都語','uz': '烏茲別克語','cy': '威爾士語','yo': '約魯巴語','yue': '粵語','wyw': '文言文','cht': '中文繁體'    }
本作品採用《CC 協議》，轉載必須註明作者和本文連結

WOW~

相關文章