记录维维的每一篇Hello World

image.png

需要安装的第三方库

  1. pip install requests

使用到的模板/库

  1. import requests
  2. import time
  3. import random
  4. import hashlib
  5. import re

爬取步骤

一、获取请求url以及请求数据

1、前往有道翻译官网https://fanyi.youdao.com/获取，不知道怎么获取可以看【python爬虫】爬取百度翻译，里面有获取步骤，跟着步骤走就可以得到以下数据。
image.png

  1. # 需要的数据
  2. data = {
  3.         'i': '你好',
  4.         'from': 'AUTO',
  5.         'to': 'AUTO',
  6.         'smartresult': 'dict',
  7.         'client': 'fanyideskweb',
  8.         'salt': '16469009309320',
  9.         'sign': '1919a97164a3f49c2f7952950f9fec45',
  10.         'lts': '1646900930932',
  11.         'bv': '8485025d8b016004f09679843317d954',
  12.         'doctype': 'json',
  13.         'version': '2.1',
  14.         'keyfrom': 'fanyi.web',
  15.         'action': 'FY_BY_REALTlME'
  16.     }
  18. # 请求url
  19. url = 'https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'

二、分析请求数据

1、因为有道翻译有反爬机制，所以需要分析数据，才能使用。
image.png
image.png

2、通过多次的翻译分析后就可以看到（这里只放两张图片展示）数据中：
i 是我们需要翻译的文字，
from 是原文的语言类型，如 cn 表示中文， AUTO是自动识别，
to 是需要目标翻译的语言类型，
lts 是时间戳（需要注意的是，JavaScript的时间戳是以毫秒计算的，我们后期写入的时候需要更改），
salt 是时间戳（lts）加一个随机数字，
sign 是一段通过md5加密的字符，需要分析js文件才能知道怎么生成，
其他参数均不变。

三、分析js文件，得到加密字符

1、打开有道翻译官网: https://fanyi.youdao.com/，按下F12打开工具，查看元素，在上面就可以看到有三个js文件的链接，依次打开，最终确定sign参数是在https://shared.ydstatic.com/fanyi/newweb/v1.1.9/scripts/newweb/fanyi.min.js中生成的。
image.png

2、打开js文件的链接https://shared.ydstatic.com/fanyi/newweb/v1.1.9/scripts/newweb/fanyi.min.js
image.png
3、可以看到，是一段很乱的JavaScript代码，很难从中提取出我们想要的东西，不过也有格式化js代码的网站，百度一下就可以找到，当然，也可以用python快速提取我们想要的字符。

  1. #!../venv/Scripts python
  2. # -*- coding:utf-8 -*-
  3. # Project: get js
  4. # Created by 维维
  6. import requests
  7. import re
  10. def get_signs(url_js: str):
  11.     """
  12.     得到加密字符
  13.     :param url_js: fanyi.min.js的链接
  14.     :return: 匹配到的加密字符
  15.     """
  17.     header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
  18.                             "Chrome/99.0.4844.51 Safari/537.36 Edg/99.0.1150.30"}
  19.     response = requests.get(url=url_js, headers=header)
  20.     response.encoding = 'utf-8'
  21.     text = response.text
  23.     res = re.search('\"fanyideskweb\"\s?\+\s?[a-zA-Z]\s?\+\s?[a-zA-Z]\s?\+\s?\"(.*?)\"', text, re.S)
  24.     try:
  25.         return res.group(1)
  26.     except AttributeError:
  27.         return None
  30. def get_url_js():
  31.     """
  32.     得到js代码的请求url
  33.     :return: fanyi.min.js的链接
  34.     """
  35.     url_yd = 'https://fanyi.youdao.com/'
  36.     header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
  37.                             "Chrome/99.0.4844.51 Safari/537.36 Edg/99.0.1150.30"}
  38.     response = requests.get(url=url_yd, headers=header)
  39.     response.encoding = 'utf-8'
  40.     html = response.text
  41.     # print(html)
  42.     # 正则匹配想要的链接
  43.     http_js = re.findall('<script.*?src="(http[s]?://[a-zA-Z0-9./]*fanyi.min.js)"></script>', html)
  44.     try:
  45.         return http_js[0]
  46.     except IndexError:
  47.         return None
  50. if __name__ == '__main__':
  51.     # js的url
  52.     jsUrl = get_url_js()
  53.     # 匹配并打印
  54.     if jsUrl is not None:
  55.         md5Str = get_signs(url_js=jsUrl)
  56.         print(md5Str)
  57.     else:
  58.         print("匹配失败")

四、实现翻译功能

数据齐全，就可以开始实现了，简单实现过程。

  1. #!../venv/Scripts python
  2. # -*- coding:utf-8 -*-
  3. # Project: 有道翻译
  4. # Created by 维维
  6. import requests
  7. import time
  8. import random
  9. import hashlib
  12. def youdao(text):
  13.     e = text
  14.     timestamp = str(time.time()).replace('.', '')
  15.     lts = str(int(timestamp * 1000))
  16.     salt = lts + str(random.randint(0, 9))
  17.     # md5加密
  18.     sign_str = 'fanyideskweb' + e + salt + 'Ygy_4c=r#e#4EX^NUGUc5'
  19.     sign = hashlib.md5(sign_str.encode(encoding='UTF-8')).hexdigest()
  20.     data = {
  21.         'i': e,
  22.         'from': 'AUTO',
  23.         'to': 'AUTO',
  24.         'smartresult': 'dict',
  25.         'client': 'fanyideskweb',
  26.         'salt': salt,
  27.         'sign': sign,
  28.         'lts': lts,
  29.         'bv': '8485025d8b016004f09679843317d954',
  30.         'doctype': 'json',
  31.         'version': '2.1',
  32.         'keyfrom': 'fanyi.web',
  33.         'action': 'FY_BY_REALTlME'
  34.     }
  36.     url = 'https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
  38.     header = {
  39.         "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
  40.                       "Chrome/99.0.4844.51 Safari/537.36 Edg/99.0.1150.30",
  41.         'Cookie': 'OUTFOX_SEARCH_USER_ID=-1154806696@10.168.8.76; \
  42.                        OUTFOX_SEARCH_USER_ID_NCOO=1227534676.2988937; \
  43.                        JSESSIONID=aaa7LDLdy4Wbh9ECJb_Vw; ___rl__test__cookies=1563334957868',
  44.         'Referer': 'https://fanyi.youdao.com/'
  45.     }
  47.     response = requests.post(url, data=data, headers=header)
  48.     response.encoding = 'utf-8'
  49.     result = response.json()
  50.     if result['errorCode'] == 0:
  51.         return result['translateResult'][0][0]['tgt']
  52.     else:
  53.         return text
  56. if __name__ == '__main__':
  57.     while True:
  58.         text1 = input("你想翻译的原文: ")
  59.         if text1 == 'q':
  60.             break
  61.         text2 = youdao(text1)
  62.         print("原文: ", text1, "\n翻译: ", text2, end='\n\n')

完整源码

  1. #!../venv/Scripts python
  2. # -*- coding:utf-8 -*-
  3. # Project: 有道翻译
  4. # Created by 维维
  6. import requests
  7. import time
  8. import random
  9. import hashlib
  10. import re
  13. class Youdao:
  14.     def __init__(self):
  15.         """
  16.         爬取有道翻译，实现翻译功能
  17.         """
  18.         self.__i = ''
  19.         self.__from = 'AUTO'
  20.         self.__to = 'AUTO'
  21.         self.__url = 'https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
  22.         self.__url1 = 'https://fanyi.youdao.com/'
  23.         self.__header = {
  24.             "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
  25.                           "Chrome/99.0.4844.51 Safari/537.36 Edg/99.0.1150.30",
  26.             'Cookie': 'OUTFOX_SEARCH_USER_ID=-1154806696@10.168.8.76; \
  27.                        OUTFOX_SEARCH_USER_ID_NCOO=1227534676.2988937; \
  28.                        JSESSIONID=aaa7LDLdy4Wbh9ECJb_Vw; ___rl__test__cookies=1563334957868',
  29.             'Referer': 'https://fanyi.youdao.com/'
  30.         }
  31.         self.__sleep_second = 3
  32.         self.__signs = self.__get_signs()
  33.         self.__doc__ = "爬取有道翻译，实现翻译功能，仅作为学习使用"
  35.     @property
  36.     def url(self):
  37.         """
  38.         有道翻译官网
  39.         """
  40.         return self.__url
  42.     @property
  43.     def header(self):
  44.         """
  45.         请求头
  46.         """
  47.         return self.__header
  49.     def set_sleep_second(self, second: int):
  50.         """
  51.         设置出现错误时停留时间(s)
  52.         :param second: 停留时间
  53.         """
  54.         self.__sleep_second = second
  56.     def set_from_to(self, f: str, t: str):
  57.         """
  58.         设置原文和翻译语言类型，默认为AUTO
  59.         :param f: 原文语言类型
  60.         :param t: 翻译语言类型
  61.         """
  62.         self.__from = f
  63.         self.__to = t
  65.     def __get_signs(self):
  66.         """
  67.         得到sign中的加密字符
  68.         :return: 加密字符
  69.         """
  70.         response = requests.get(url=self.__url1, headers=self.__header)
  71.         # 正则匹配想要的链接
  72.         http_js = re.findall('<script.*?src="(http[s]?://[a-zA-Z0-9./]*fanyi.min.js)"></script>', response.text)
  73.         try:
  74.             response1 = requests.get(url=http_js[0], headers=self.__header)
  75.         except IndexError as ie:
  76.             print("IndexError:", ie)
  77.             time.sleep(self.__sleep_second)
  78.             self.__get_signs()
  79.         res = re.search('\"fanyideskweb\"\s?\+\s?[a-zA-Z]\s?\+\s?[a-zA-Z]\s?\+\s?\"(.*?)\"', response1.text, re.S)
  80.         try:
  81.             return res.group(1)
  82.         except AttributeError as ae:
  83.             print("AttributeError:", ae)
  84.             time.sleep(self.__sleep_second)
  85.             self.__get_signs()
  87.     def __translate(self):
  88.         """
  89.         翻译实例
  90.         """
  91.         timestamp = time.time()
  92.         lts = str(int(timestamp * 1000))
  93.         salt = lts + str(random.randint(0, 9))
  94.         signs = 'fanyideskweb' + self.__i + salt + self.__signs
  95.         sign = hashlib.md5(signs.encode(encoding='UTF-8')).hexdigest()
  96.         data = {
  97.             'i': self.__i,
  98.             'from': self.__from,
  99.             'to': self.__to,
  100.             'smartresult': 'dict',
  101.             'client': 'fanyideskweb',
  102.             'salt': salt,
  103.             'sign': sign,
  104.             'lts': lts,
  105.             'bv': '8485025d8b016004f09679843317d954',
  106.             'doctype': 'json',
  107.             'version': '2.1',
  108.             'keyfrom': 'fanyi.web',
  109.             'action': 'FY_BY_REALTlME'
  110.         }
  111.         response = requests.post(url=self.__url, data=data, headers=self.__header)
  112.         response.encoding = 'utf-8'
  113.         result = response.json()
  114.         self.__result = result['translateResult'][0][0]['tgt'] if result['errorCode'] == 0 else ''
  116.     def translate(self, string: str) -> str:
  117.         """
  118.         翻译功能
  119.         :param string: 需要翻译的原文
  120.         :return: 翻译的内容
  121.         """
  122.         self.__i = string
  123.         self.__translate()
  124.         return self.__result
  126.     def translate_show(self, string: str):
  127.         """
  128.         翻译并打印
  129.         :param string: 需要翻译的原文
  130.         """
  131.         self.__i = string
  132.         self.__translate()
  133.         if self.__result == '':
  134.             print(string)
  135.         else:
  136.             print(self.__result)
  139. if __name__ == '__main__':
  140.     # 需要翻译的内容
  141.     s = '人生苦短，我用python'
  142.     print(s)
  143.     # 实例化
  144.     yd = Youdao()
  145.     # 翻译并打印
  146.     yd.translate_show(string=s)
  147.     # 打印有道官网
  148.     # print(yd.url)

python环境

电脑：Windows10

python：3.8.8（建议3.7以上）