记录维维的每一篇Hello World

image.png

需要安装的第三方库

  1. pip install requests


爬取步骤

一、获取请求url以及请求数据

1、首先前往百度翻译 ，在下面这个页面输入想要翻译的文本
image.png
2、在这个页面按下F12打开开发者页面，点击网络，再点XHR进入如下页面，找到sug的请求
image.png
3、里面的请求url就是我们需要的，请求方法是post
image.png
4、往下滑的，看到User-Agent也是我们需要的image.png
5、点击负载，可以看到请求的数据image.png
6、点击预览可以看到返回以下的内容

image.png二、基本的请求过程

有了请求url，请求方法，请求数据格式，我们就可以开始写一个简单的翻译请求过程

  1. # 请求url
  2. sug_url = 'https://fanyi.baidu.com/sug'
  5. # 请求数据
  6. key_word = "我爱你"
  7. data = {'kw': key_word}
  10. #请求头
  11. header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
  12.                         "Chrome/99.0.4844.51 Safari/537.36 Edg/99.0.1150.30"}
  14. # 请求方法
  15. response = requests.post(sug_url, data=data, headers=header)
  17. # 设置编码
  18. response.encoding = 'utf-8'
  20. # 获得json数据
  21. result = response.json()
  23. # 打印数据
  24. print(result)

完整源码

  1. #!../venv/Scripts python
  2. # -*- coding:utf-8 -*-
  3. # Project: 百度翻译
  4. # Created by 维维
  6. import requests
  7. import itertools
  10. def baidu(key_word):
  11.     # 请求链接
  12.     sug_url = 'https://fanyi.baidu.com/sug'
  13.     # 请求数据
  14.     data = {'kw': key_word}
  15.     # 请求头
  16.     header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
  17.                             "Chrome/99.0.4844.51 Safari/537.36 Edg/99.0.1150.30"}
  19.     # 请求方法
  20.     response = requests.post(sug_url, data=data, headers=header)
  21.     # 设置编码
  22.     response.encoding = 'utf-8'
  23.     # 得到json数据
  24.     result = response.json()
  25.     # 打印结果
  26.     if not result['errno'] == 0:
  27.         # 翻译错误
  28.         print(f'翻译错误: {key_word}\n')
  29.     elif len(result['data']) == 0:
  30.         # 翻译失败，打印原文
  31.         print(f"原文: {key_word}")
  32.         print(f"翻译: {key_word}\n")
  33.     else:
  34.         for res in result['data']:
  35.             # 打印翻译
  36.             print(f"原文: {res['k']}")
  37.             print(f"翻译: {res['v']}\n")
  40. if __name__ == '__main__':
  41.     # 生成迭代器
  42.     m = itertools.count(1)
  43.     while True:
  44.         # 输入需要翻译的文本
  45.         keyword = input(f'[{m.__next__()}] 请输入翻译原文：')
  46.         # 输入q退出
  47.         if keyword == 'q':
  48.             break
  49.         # 翻译
  50.         baidu(keyword)

python环境

电脑：Windows10

python：3.8.8（建议3.7以上）

最新版requests（版本影响不大）