爬取网站的步骤：

    1. 设置爬取目标（目标网站，目标数据）
    2. 分析目标网站（待爬取页面，待爬取数据）
    3. 批量下载HTML（使用requests库实现 点击requests介绍网站）
    4. 实现HTML解析，得到目标数据（BeautifulSoup库解析点击获取beautifulsoup介绍网站）
    5. 将结果数据存储

    在这里，我就爬取一下我的blog博客，来回忆熟悉一下爬虫吧

    1. # -*- coding: utf-8 -*-
    2. """
    3. Created on Tue Mar 29 19:45:35 2022
    5. @author: lmj
    6. """
    8. import requests
    9. from bs4 import BeautifulSoup
    10. import pprint
    11. import json
    13. def download_all_html():
    14.     # 下载所有列表页面的html，用于后续分析
    15.     htmls = []
    16.     for idx in range(1):
    17.         url = f"https://liumengjieabc.gitee.io/page/{idx+2}/"
    19.         # 请求url，请求成功是200
    20.         r = requests.get(url)
    21.         r.encoding = "utf-8"
    22.         if r.status_code != 200:
    23.             raise Exception("error")
    24.         htmls.append(r.text) 
    25.     return htmls   
    26. htmls = download_all_html()
    28. def parse_single_html(html):
    30.     # 用html.parser解析单个HTML，得到数据
    31.     soup = BeautifulSoup(html,'html.parser')
    32.     articles = soup.find_all("div",class_="recent-post-item")
    33.     datas = []
    34.     for article in articles:
    35.         # 查找超链接
    36.         title_node = (
    37.             article
    38.             # .find("h2",class_="entry-title")
    39.             # .find("a")
    40.             .find("div",class_="recent-post-info")
    41.             .find("a")
    42.         )
    43.         # 获取title_node超链接的标题
    44.         title = title_node.get_text()
    45.         # 获取title_node超链接的url
    46.         link = title_node["href"]
    48.         datas.append(
    49.             # 整理成字典
    50.             {"title":title,"link":'https://liumengjieabc.gitee.io/' + link}
    51.         )
    52.     return datas;
    54. # 执行所有的HTML页面的解析
    55. all_datas =[]
    56. for html in htmls:
    57.     all_datas.extend(parse_single_html(html))
    59. print(all_datas)
    61. filename='blog.json'
    62. with open(filename,'w') as file_obj:
    63.     json.dump(all_datas,file_obj)
    64.     print("写入成功")

    image.png
    image.png
    先用我的博客实验了一下，成功！

    上传的作业，爬一个网页的新闻列表，emmm，现在才完成，虽迟但到！

    1. # -*- coding: utf-8 -*-
    2. """
    3. Created on Tue Mar 29 19:45:35 2022
    5. @author: lmj
    6. """
    8. import requests
    9. from bs4 import BeautifulSoup
    10. import pprint
    11. import json
    13. def download_all_html():
    14.     # 下载所有列表页面的html，用于后续分析
    15.     htmls = []
    16.     for idx in range(10):
    17.         url = f"https://sites.lynu.edu.cn/xxjsxy/xyxw/{idx+1}.htm"
    18.         print(url)
    20.         # 请求url，请求成功是200
    21.         r = requests.get(url)
    22.         r.encoding = "utf-8"
    23.         if r.status_code != 200:
    24.             raise Exception("error")
    25.         htmls.append(r.text) 
    26.     return htmls  
    27. htmls = download_all_html()
    29. def parse_single_html(html):
    31.     # 用html.parser解析单个HTML，得到数据
    32.     soup = BeautifulSoup(html,'html.parser')
    33.     articles = soup.find_all("ul",class_="article_list")
    34.     datas = []
    35.     for article in articles:
    36.         items = article.find_all("li")
    37.         for item in items:
    38.             title_node = (
    39.                 item
    40.                 .find("a")
    41.             )
    42.             # 获取title_node超链接的标题
    43.             title = title_node.get_text()
    44.             # 获取title_node超链接的url
    45.             link = title_node["href"]
    47.             datas.append(
    48.             # 整理成字典
    49.                 {"title":title,"link": link}
    50.             )
    51.     return datas;
    54. # 执行所有的HTML页面的解析
    55. all_datas =[]
    56. for html in htmls:
    57.     all_datas.extend(parse_single_html(html))
    59. print(all_datas)
    61. filename='blog.json'
    62. with open(filename,'w') as file_obj:
    63.     # json.dump(all_datas,file_obj)
    64.     file_obj.write(str(all_datas))
    65.     print("写入成功")

    在爬取这个网页的时候由于我页面格式没有分析好，所以导致我中间出错，等以后写爬虫的时候一定要注意这些细节的问题。

    看结果，哇塞，爬了十页呀
    image.png