一、准备工作

1.背景介绍

小说网站：新笔趣阁

2.爬虫步骤

大致分三个步骤：

  • 发起请求：明确如何发起Http请求，获取到数据；
  • 解析数据：获取到杂乱的数据，对数据进行清理；
  • 保存数据：保存为自己想要的格式。

发起请求就用requests
解析数据有xpath、Beautiful Soup、正则表达式等，本文用BeautifulSoup
保存数据：用常规的文本保存，后续继续用docx和xlsx保存

3.Beautiful Soup

  1. pip install bs4

官方中文教程

4.小试牛刀

下载《斗破苍穹》部分章节
首先审查页面元素，分析第一章url

  1. from typing import ChainMap
  2. import requests
  3. from bs4 import BeautifulSoup
  4. import sys
  6. def get_contents(server,target):
  7.     url=server+target
  8.     req=requests.get(url=url)
  9.     req.encoding='utf-8'
  10.     html=req.text
  11.     bf=BeautifulSoup(html,'lxml')
  12.     texts=bf.find('div',id='content')
  13.     content=texts.text.replace('\xa0'*4,'\n\n')
  14.     return content
  16. def get_urls(target):
  17.     chapters=[]
  18.     urls=[]
  19.     nums=0
  21.     req=requests.get(url=target,verify=False)   #加上verify=false可避免get时指定ssl证书
  22.     req.encoding='utf-8'    #避免乱码
  23.     html=req.text
  24.     bs=BeautifulSoup(html,'lxml')
  25.     a=bs.find('div',id="list")
  26.     a=a.find_all('a')[100:200]
  27.     nums=len(a)
  28.     for each in a:
  29.         urls.append(each.get('href'))
  30.         chapters.append(each.string)
  32.     return urls,chapters,nums
  34. def writer(path,name,text):
  35.     write_flag = True
  36.     with open(path, 'a', encoding='utf-8') as f:
  37.         f.write(name+'\n')
  38.         f.writelines(text)
  39.         f.write('\n\n')
  41. if __name__=='__main__':
  42.     server='https://www.vbiquge.com'
  43.     target='https://www.vbiquge.com/1_1413/'
  44.     book_name='斗破苍穹.txt'
  45.     urls,chapters,nums=get_urls(target)
  47.     for i in range(nums):
  48.         writer(book_name,chapters[i],get_contents(server,urls[i]))
  50.         sys.stdout.write("已下载：{0}/{1}{2}".format(i,nums,'\r'))
  51.         sys.stdout.flush()
  • 面向对象
  1. from bs4 import BeautifulSoup
  2. import requests
  3. import sys
  5. """
  6. 类说明：下载《笔趣网》小说《一念永恒》
  8. parameters:
  9.     无
  10. returns：
  11.     无
  12. Modify:
  13.     21.2.18
  15. """
  18. class downloader(object):
  20.     def __init__(self):
  21.         self.server = 'https://www.bqkan.com'
  22.         self.target = 'https://www.bqkan.com/1_1094/'
  23.         self.chapters = []  # 存放章节名
  24.         self.urls = []  # 存放章节链接
  25.         self.nums = []  # 章节数
  27.     """
  28.     函数说明：获取下载链接
  30.     """
  32.     def get_download_url(self):
  33.         req = requests.get(url=self.target)
  34.         '''
  35.             查看网页的源码发现网页的编码方式gbk，BeautifulSoup解析后得到的soup，打印出来是乱码，实际上其本身已经是正确的（从原始的GB2312编码）解析（为Unicode）后的了。之所以乱码，那是因为，打印soup时，调用的是__str__，其默认是UTF-8，所以输出到GBK的cmd中，才显示是乱码
  36.         '''
  37.         req.encoding = 'gb18030'    #确保内容不乱码
  38.         div_bf = BeautifulSoup(req.text,'lxml')
  39.         div = div_bf.find_all('div', class_='listmain')
  41.         a_bf = BeautifulSoup(str(div[0]))
  42.         a = a_bf.find_all('a')
  43.         self.nums = len(a[15:])  # 剔除前15章
  44.         for each in a[15:]:
  45.             self.chapters.append(each.string)         #a标签中的章节名
  46.             self.urls.append(each.get('href'))      #a标签中的链接
  48.     """
  49.     获取章节内容
  50.     parameters:
  51.         target  下载链接-string
  52.     returns:
  53.         texts   章节内容-string
  54.     """
  56.     def get_contens(self, target):
  57.         url=self.server+target
  58.         req = requests.get(url)
  59.         bf = BeautifulSoup(req.text,'lxml')
  60.         texts = bf.find_all('div', class_='showtxt')
  61.         texts = texts[0].text.replace('\xa0'*8, '\n\n')  # 章节中的八个空格替换为回车
  62.         return texts
  64.     """
  65.     说明：将爬取的文件写入爬虫
  66.     parameters:
  67.         name-章节名称-string
  68.         path-当前路径下，小说保存名-string
  69.         text-章节内容-string
  70.     retruns:
  71.         无
  72.     """
  74.     def writer(self, name, path, text):
  75.         write_flag = True
  76.         with open(path, 'a', encoding='utf-8') as f:
  77.             f.write(name+'\n')
  78.             f.writelines(text)
  79.             f.write('\n\n')
  82. if __name__ == '__main__':
  83.     dl = downloader()
  84.     dl.get_download_url()
  85.     book_name='一念永恒.txt'
  87.     print('开始下载:')   
  88.     for i in range(dl.nums):
  89.         dl.writer(dl.chapters[i], book_name, dl.get_contens(dl.urls[i]))
  91.         sys.stdout.write("已下载：{0:.2%}{1}".format(i/dl.nums,'\r'))
  92.         sys.stdout.flush()
  93.     print("下载完成")