cookie 和 session

cookie的数据主要是放在 浏览器端， 可以通过抓包看到 cookie的信息。
session 主要是存放在服务器端。 session详细信息抓包抓不到。

处理带有Cookie的接口

通过抓包
image.png
请求的cookie 信息都是存放在 headers 中

根据接口文档

请求方式： Post
请求路径：http://47.100.175.62:3000/user/refresh_token
请求headers:

  1. Cookie: node_club=s%3A61d7ce34f9c9c17ef86fd0c2%24%24%24%24.EG262E%2Bg4LTKHLxdg8V1u235O5kNPTG3O52FbypDY4M; connect.sid=s%3ANVS8dfGjnV_fUbetGQD5mn9CAs_YZQ4s.Y7DH3i%2FWssRSYDyhxa7epnb%2BPuUqWVAQ3d73xBwd1Vw

请求body： 无

使用代码来做

  2. import requests
  4. url = "http://47.100.175.62:3000/user/refresh_token"
  5. # 设置cookie的信息头
  6. headers = {
  7.  "Cookie":"node_club=s%3A61d7ce34f9c9c17ef86fd0c2%24%24%24%24.EG262E%2Bg4LTKHLxdg8V1u235O5kNPTG3O52FbypDY4M; connect.sid=s%3ANVS8dfGjnV_fUbetGQD5mn9CAs_YZQ4s.Y7DH3i%2FWssRSYDyhxa7epnb%2BPuUqWVAQ3d73xBwd1Vw"
  8. }
  9. # 给post请求添加 信息头
  10. r = requests.post(url,headers=headers)
  11. print(r.status_code)
  12. print(r.json())

Python下载文件

给定一个资源文件的地址： https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2700138245.jpg

这个是个图片的地址，要将图片下载并保存电脑。

  1. import requests
  2. # 图片，二进制文件
  3. url = "https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2700138245.jpg"
  5. r = requests.get(url)
  6. print(r.status_code)
  7. # 二进制文件可以保存到本地  二进制文件 权限值需要添加b
  8. with open('01.jpg',mode='wb') as file:
  9.     # 写入的时候使用 r.content 表示二进制文件
  10.     file.write(r.content)

作业

  1. 参考 豆瓣电影接口 https://www.yuque.com/imhelloworld/av0qdq/mrvgpc#xVl2V

根据接口返回的结果，分析结果，并将接口中所有的电影海报下载到本地。

接口信息
请求方式 GET
请求路径：https://movie.douban.com/j/search_subjects
请求参数

  1. type: movie
  2. tag: 华语
  3. page_limit: 50
  4. page_start: 0

下载所有电影海报

  3. import requests
  4. import os
  6. tags = ["热门", "最新", "豆瓣高分", "冷门佳片", "华语", "欧美", "韩国", "日本"]
  7. for tag in tags:
  8.     # 创建文件夹路径
  9.     dir = os.path.join(os.path.dirname(__file__),tag)
  10.     print(dir)
  11.     # 如果文件夹的路径不存在，需要创建文件夹
  12.     if not os.path.exists(dir):
  13.         os.mkdir(dir)
  16.     url = "https://movie.douban.com/j/search_subjects"
  17.     query_data = {
  18.         "type": "movie",
  19.         "tag": tag,
  20.         "page_limit": 50,
  21.         "page_start": 0
  22.     }
  23.     header = {
  24.         "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"
  25.     }
  27.     r = requests.get(url,params=query_data,headers=header)
  28.     # print(r.json())
  29.     # 服务器返回的结果
  30.     res_data = r.json()
  31.     # 拿到所有的电影结果
  32.     subjects = res_data["subjects"]
  34.     for subject in subjects:
  35.         # 电影标题，海报的路径
  36.         print(subject["title"],subject["cover"])
  37.         # 存放到文件夹
  38.         # 每张海报的文件名
  39.         filename = os.path.join(dir,subject['title']+'.png')
  40.         with open(filename,mode='wb') as file:
  41.             # 发送请求 到图片
  42.             png_res = requests.get(url=subject["cover"],headers=header)
  43.             # 将请求结果的二进制文件放到 文件中
  44.             file.write(png_res.content)

代码优化，封装为函数

函数模板

首先需要将函数结果定义出来。

  2. def get_dir(tag):
  3.     """
  4.     返回存放海报的目录路径
  5.     :return:
  6.     """
  8. def get_tags():
  9.     """
  10.     获取所有的标签
  11.     发送get请求给 https://movie.douban.com/j/search_tags 地址
  12.     :return: [str]
  13.     """
  16. def save_cover_to_file(tag):
  17.     """
  18.     给定一个标签，根据标签进行搜索对应电影海报
  19.     保存文件的时候，需要给定文件名，文件名就是电影的名字
  20.     :param tag: 给定的标签
  21.     :return:
  22.     """
  25. if __name__ == '__main__':
  26.     # 获取所有的 标签
  27.     tags = get_tags()
  28.     # 下载每一个标签下对应的电影海报
  29.     for tag in tags:
  30.         save_cover_to_file(tag)

实现操作

  1. import requests
  2. import os
  3. header = {
  4.         "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"
  5.     }
  6. def get_dir(tag):
  7.     """
  8.     返回存放海报的目录路径
  9.     :param tag: 标签名字
  10.     :return:
  11.     """
  12.     tag_dir = os.path.join(os.path.dirname(__file__),tag)
  13.     # 如果路径不存在 就需要进行创建
  14.     if not os.path.exists(tag_dir):
  15.         os.mkdir(tag_dir)
  16.     return tag_dir
  18. def get_tags():
  19.     """
  20.     获取所有的标签
  21.     发送get请求给 https://movie.douban.com/j/search_tags 地址
  22.     :return: [str]
  23.     """
  24.     url = "https://movie.douban.com/j/search_tags"
  26.     r = requests.get(url,headers=header)
  27.     return r.json()["tags"]
  29. def save_cover_to_file(tag):
  30.     """
  31.     给定一个标签，根据标签进行搜索对应电影海报
  32.     保存文件的时候，需要给定文件名，文件名就是电影的名字
  33.     :param tag: 给定的标签
  34.     :return:
  35.     """
  36.     url = "https://movie.douban.com/j/search_subjects"
  37.     query_data = {
  38.         "type": "movie",
  39.         "tag": tag,
  40.         "page_limit": 50,
  41.         "page_start": 0
  42.     }
  43.     header = {
  44.         "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"
  45.     }
  47.     r = requests.get(url, params=query_data, headers=header)
  48.     # print(r.json())
  49.     # 服务器返回的结果
  50.     res_data = r.json()
  51.     # 拿到所有的电影结果
  52.     subjects = res_data["subjects"]
  54.     for subject in subjects:
  55.         # 电影标题，海报的路径
  56.         print(subject["title"], subject["cover"])
  57.         # 存放到文件夹
  58.         # 每张海报的文件名
  59.         dir = get_dir(tag) # 存放海报的目录
  60.         filename = os.path.join(dir , subject['title'] + '.png')
  61.         with open(filename, mode='wb') as file:
  62.             # 发送请求 到图片
  63.             png_res = requests.get(url=subject["cover"], headers=header)
  64.             # 将请求结果的二进制文件放到 文件中
  65.             file.write(png_res.content)
  68. if __name__ == '__main__':
  69.     # 获取所有的 标签
  70.     tags = get_tags()
  71.     # 下载每一个标签下对应的电影海报
  72.     for tag in tags:
  73.         print(f'现在下载{tag}下面所有的海报')
  74.         save_cover_to_file(tag)