python爬虫调用JS python爬虫调用百度翻译

一、运行效果

运行程序按提示输入你要翻译的中英文词语，程序会自动调用百度翻译语言检测接口识别出你输入的是中文还是英文，然后再继续调用百度翻译api进行翻译，程序运行效果如下视频所示：

二、抓包分析请求

通过Chrome打开百度翻译网页，输入你要翻译的文字，单击右键检查选择Network工具栏，分析流量包可以判断出langdetect是检测输入语言类型的接口。

2.1、检测输入语言类型

定义函数get_lang函数检查输入语言类型,然后修改调用翻译api时的data传参值。输入中文就是汉译英，输入英文就是英译汉。

def get_lang(self):    respons = requests.post(self.lang_url, data=self.data,headers=self.headers).json()    lan = respons['lan']    if lan == "zh":        self.data['from'] = "zh"        self.data['to'] = "en"

2.2、调用翻译api需要的参数

通过请求包名字就可以分析出v2transapi是百度翻译用到的api，在Preview窗口可以看到输入“你好”翻译成英语的结果“hello”。

再来看一下浏览器请求服务器需要传递的参数(主要是Data部分)，以及接口的URL地址(Request URL)

经过分析发现，Form Data中只有两部分是发生变化的，其余的参数不变。

• query：我们需要翻译的词语
• sign：每次都会不一样(本程序最难的部分)

2.3、获取sign值

sign值每次都会随着输入的待翻译内容而更新，通过发现是JS代码生成的，全局搜索sign发现是JS代码中y()函数生成的。

在Sourth工具栏中找到刚才全局搜索到的对应JS文件，开始调试打断点，并刷新页面。将鼠标放在有y()函数上可以看到他要跳转的函数。

跳转后我们发现，y()对应的函数是function e(r)函数，将e(r)函数对应的JS代码单独保存在文件sign.js中，对应的JS代码如下所示：

function e(r) {        var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);        if (null === o) {            var t = r.length;            t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))        } else {            for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++)                "" !== e[C] && f.push.apply(f, a(e[C].split(""))),                C !== h - 1 && f.push(o[C]);            var g = f.length;            g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))        }        var u = void 0          , l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);        u = null !== i ? i : (i = window[l] || "") || "";        for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {            var A = r.charCodeAt(v);            128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)),            S[c++] = A >> 18 | 240,            S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224,            S[c++] = A >> 6 & 63 | 128),            S[c++] = 63 & A | 128)        }        for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++)            p += S[b],            p = n(p, F);        return p = n(p, D),        p ^= s,        0 > p && (p = (2147483647 & p) + 2147483648),        p %= 1e6,        p.toString() + "." + (p ^ m)    }

通过python中的PyExecJS 模块执行sign.js代码

import execjsquery = '你好'with open('sign.js', 'r', encoding='utf-8') as f:    ctx = execjs.compile(f.read())sign = ctx.call('e', query)print(sign)

执行过后发现报错显示i未定义，最后分析发现i值是i是通过浏览器的(i = window[l] || "")生成的，如果不是通过浏览器执行js的话，生成不了这个i的，但是经过多次分析得出i的值是固定不变的，故在刚才的sign.js代码上方添加一行代码就搞定了。

var i = "320305.131321201"

再次执行发现还是有个问题显示n未定义，按照刚才的方法找到生成n的函数，将其加到sign.js上方就行。

function n(r, o) {        for (var t = 0; t < o.length - 2; t += 3) {            var a = o.charAt(t + 2);            a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a),            a = "+" === o.charAt(t + 1) ? r >>> a : r << a,            r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a        }        return r  }

再次执行sign.js代码能够成功生成对应的sign值，程序中最困难的部分已经解决了。

三、调用百度翻译api翻译文本

继续完成剩余的代码，定义一个BaidufanyiSpider对象，将所有功能封装到对象中。

3.1、封装传参

将需要翻译的内容、对应的请求URL地址、请求头以及数据封装在初始化函数中。

def __init__(self, query):    """        :param query: 待翻译的内容        cookie 值 可能会影响到翻译结果，可以将未登陆情况下百度翻译的cookie填写。        """    self.query = query    self.url = "https://fanyi.baidu.com/v2transapi"    self.lang_url = "https://fanyi.baidu.com/langdetect"    self.headers = {        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36",        "Cookie": "BAIDUID=6B90999F35BF1F41C96C624CBA31075F:FG=1; BIDUPSID=6B90999F35BF1F41C96C624CBA31075F; PSTM=1571032180; REALTIME_TRANS_SWITCH=1; FANYI_WORD_SWITCH=1; SOUND_SPD_SWITCH=1; HISTORY_SWITCH=1; SOUND_PREFER_SWITCH=1; H_WISE_SIDS=136721_127760_100807_139402_114746_138947_120129_138471_139282_138878_137978_140174_131246_132552_118896_118866_118842_118835_118789_138165_139397_139810_136430_139040_139284_139297_136862_138148_140122_140078_139173_139624_139592_136196_137105_139400_139692_133847_137734_137468_138564_134256_131423_139255_137961_139247_137782_139096_136537_136751_110085_139459_127969_139161_138302_139882_137253_139407_127417_138312_138425_139733_139159_139971_139926_139222_140231; BDUSS=xxV3hwbzJ1amRTUEdhc1JodTIzY3JOeEJzNlhJLXNPM21uQ0xwQVdMODJ2RHRlRVFBQUFBJCQAAAAAAAAAAAEAAACmvu0o1NrS-LrT1tDC~rK9AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAADYvFF42LxReQk; BDUSS_BFESS=xxV3hwbzJ1amRTUEdhc1JodTIzY3JOeEJzNlhJLXNPM21uQ0xwQVdMODJ2RHRlRVFBQUFBJCQAAAAAAAAAAAEAAACmvu0o1NrS-LrT1tDC~rK9AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAADYvFF42LxReQk; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1599473370; Hm_lvt_afd111fa62852d1f37001d1f980b6800=1599475282; Hm_lpvt_afd111fa62852d1f37001d1f980b6800=1599475422; H_PS_PSSID=7540_32606_1422_32621_32327_31660_32117_32691_26350_32583; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; delPer=0; PSINO=1; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1599476943; __yjsv5_shitong=1.0_7_2988c28957f57ba523ccc0f5e5a63521ed23_300_1599476943978_223.104.237.80_72f86f7f; yjs_js_security_passport=9d15b4235591403ce284631d75bf507894606163_1599476944_js"    }    self.data = {        "from": "en",        "to": "zh",        "query": self.query,  # query 即我们要翻译的的内容        "transtype": "translang",        "simple_means_flag": "3",        "sign": "",  # sign 是变化的需要我们执行js代码得到        "token": "fe790de6d5c59f6bd7b9682ec49b36d4"  # token没有变化    }

3.2执行sign.js代码

将获取到的sign值写入到data中

def structure_form(self):    """    读取js文件    执行js代码得到我们苦求的sign值    构造新的表单    """    with open('sign.js', 'r', encoding='utf-8') as f:        ctx = execjs.compile(f.read())    sign = ctx.call('e', self.query)    # print(sign)    # sign成功获取，写入date    self.data['sign'] = sign

3.3、自动检测翻译文本语言类型

默认是英译汉，如果输入的中文，修改data为汉译英

def get_lang(self):    respons = requests.post(self.lang_url, data=self.data, headers=self.headers).json()    lan = respons['lan']    if lan == "zh":        self.data['from'] = "zh"        self.data['to'] = "en"

3.4、获取翻译请求内容

def get_response(self):    """    通过构造的新的表单数据，访问api，获取翻译内容    :return: 翻译结果    """    self.structure_form()    self.get_lang()    response = requests.post(self.url, headers=self.headers, data=self.data).json()    # print(response)    r = response['trans_result']['data'][0]['dst']    return r

四、主函数

提示用户输入，以及退出程序

def main():    """主函数，程序入口"""    print("退出系统请输入数字0！")    while True:        word = input("请输入你想翻译的词语：")        if word == "0":            print("欢迎下次继续使用百度翻译爬虫，再见！")            break        baidu_translate_spider = BaidufanyiSpider(word)        result = baidu_translate_spider.get_response()        print(result)

最后调用主函数启动程序

if __name__ == '__main__':    main()

五、结语

写完这个百度翻译的小爬虫，你将会初步学会requests爬虫库的初级使用，以及如何分析网页接口数据的能力，最重要的是能让你加深这些知识的印象，也不会觉得这些知识的枯燥。