1. import requests
    2. from bs4 import BeautifulSoup
    3. #这是正在修改的方法，方法修改完成，待补充数据处理模块，先尝试获取一页的数据并处理
    4. class DouBan:
    6.     def __init__(self):
    7.         '''
    8.         初始化方法，当创建一个类的对象的时候，该方法会被自动执行，不需要手动调用
    9.         '''
    10.         #直接组成url，但是需要拼接成间隔25的url
    11.         self.url = "https://movie.douban.com/top250?"  + "?start={}&filter="
    13.     def get_urls(self,mune):
    14.         '''该方法用来构造所有的url'''
    15.         # 列表生成式
    16.         return [self.url.format(25 * i) for i in range(mune)]
    18.     def parse_url(self, url):
    19.         '''发送请求并解析数据'''
    20.         headers = {
    21.             'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36'}
    22.         response = requests.get(url, headers=headers)
    23.         return response.content.decode()
    25.     def save_data(self, content, page_count):
    26.         '''保存数据'''
    27.         #print(self,content,page_count)
    28.         file_name = '豆瓣TOP250-第{}页.html'.format(page_count)
    29.         with open('./DouBan/' + file_name, 'w', encoding='utf-8') as f:
    30.             f.write(content)
    32.     def pocessdata(self,HTML):
    33.         # 处理数据使用,引入HTML文件，导出想要的数据
    34.         print(HTML)
    37.         return HTML
    38.     def run(self,mun):
    39.         '''爬虫程序启动'''
    40.         # 1. 构造url地址
    41.         request_list = self.get_urls(mun)
    42.         # 2. 在地址池中进行遍历，每遍历出一个地址就像该地址发送请求，获取响应得到的内容
    43.         for url in request_list:
    44.             # 2.1 发送请求
    45.             html_content = self.parse_url(url)
    46.             # 2.2 二次提取网页中的数据
    47.             # 2.3 直接保存网页内容到本地
    48.             #在这里解析数据处理数据
    49.             date_excel = self.pocessdata(html_content)
    50.             #在这里获取到页数，也就是目前网址在所有网址中的索引
    51.             page_count = request_list.index(url) + 1
    52.             #执行保存程序把索引和需要写入的内容写进去
    53.             self.save_data(date_excel, page_count)
    56. if __name__ == '__main__':
    57.     # 1.创建爬虫对象
    58.     #新增在这里改变页数,你可以输入想要获取的页数
    59.     DouBan().run(1)
    60.     # 2.启动爬虫程序
    1. #这个地方用来验证
    2. import requests
    3. from bs4 import BeautifulSoup
    5. xhtml = open("豆瓣TOP250-第1页.html")
    6. datehtml = xhtml.read()
    7. xhtml.close()
    8. def pocessdata(HTML):
    9.     # 处理数据使用,引入HTML文件，导出想要的数据
    10.     soup = BeautifulSoup(HTML,'html.parser')
    11.     movie_list = soup.find("span",class_="title")
    12.     for link in soup.find_all('span',class_="title"):
    13.         print(link.get_text().split())
    14.     print()
    17. pocessdata(datehtml)