1. from selenium import webdriver
    2. import os
    3. import time
    4. import html2text as ht
    5. from bs4 import BeautifulSoup
    6. import parsel
    7. from selenium.webdriver.chrome.options import Options
    8. from selenium.webdriver import ChromeOptions
    11. # html模板，主要是为了设置来解决乱码问题
    12. html = """
    20.     {content}
    22. """
    24. # md文件存储路径
    25. path = "./文件"
    27. #初始化浏览器
    28. def init():
    29.     # 实现无可视化界面的操作
    30.     chrome_options = Options()
    31.     chrome_options.add_argument('--headless')
    32.     chrome_options.add_argument('--disable-gpu')
    34.     # 实施规避检测
    35.     option = ChromeOptions()
    36.     option.add_experimental_option('excludeSwitches', ['enable-automation'])
    38.     # 把无可视化界面和规避检测设置进去
    39.     driver = webdriver.Chrome(chrome_options=chrome_options,options=option)
    41.     #请求CSDN
    42.     driver.get("https://www.csdn.net/")
    43.     time.sleep(0.5)
    45.     #操控浏览器滑轮滑到底部
    46.     driver.execute_script("window.scrollTo(0,document.body.scrollHeight)")
    48.     #继续操控浏览器滑轮进行逐步滑动
    49.     #如果想要爬取更多文章，可控制滑轮向下多滑
    50.     for y in range(10):
    51.         #0,200  每次滑动200像素
    52.         js = 'window.scrollBy(0,200)'
    53.         driver.execute_script(js)
    54.         time.sleep(0.5)
    56.     time.sleep(3)
    57.     #返回driver
    58.     return driver
    60. #爬取
    61. def Crawling(driver):
    62.     #使用lxml库解析
    63.     data = BeautifulSoup(driver.page_source, "lxml")
    65.     #参考图1，先定位到feedlist_mod home，在获取其下的全部class为clearfix的li标签
    66.     li_list = data.find(class_="feedlist_mod home").find_all(class_="clearfix")
    68.     #遍历li_list
    69.     for li in li_list:
    70.         li_data = BeautifulSoup(str(li), "lxml")
    72.         #异常处理，对于有的没有详情页url的那肯定不是博客文章，直接continue
    73.         try:
    74.             # 详情页url，参考图2
    75.             page_url = li_data.find("a")["href"]
    76.         except:
    77.             continue
    79.         # 如果是官方直播就跳过
    80.         if li_data.find(class_="name").find("a").text.strip() == '官方直播':
    81.             continue
    83.         # 文章标题，参考图2
    84.         title = li_data.find("a").text.replace(" ", "")
    86.         #进行详情页请求爬取
    87.         page_Crawling(title,page_url,driver)
    90. #详情页爬取并保存为md文件
    91. def page_Crawling(title,page_url,driver):
    92.     # 如果不存在就创建该文件夹
    93.     if not os.path.exists(path):
    94.         os.makedirs(path)
    96.     #向详情页发起get请求
    97.     driver.get(page_url)
    99.     #使用Selectors选择器
    100.     selector = parsel.Selector(driver.page_source)
    101.     #使用CSS获取,可参考图3，文章只有一个article标签
    102.     text = selector.css("article").get()
    104.     #先保存为html
    105.     with open("text.html", "w", encoding="utf-8") as f:
    106.            #需要设置html模板，不然出现乱码
    107.         f.write(html.format(content=text))
    109.     #这里我们使用html2text库将html转为markdown
    110.     text_maker = ht.HTML2Text()
    111.     # 读取html格式文件
    112.     with open('text.html', 'r', encoding='UTF-8') as f:
    113.         htmlpage = f.read()
    114.     # 处理html格式文件中的内容
    115.     text = text_maker.handle(htmlpage)
    116.     # 写入处理后的内容
    117.     with open(path + "/" + title + '.md', 'w', encoding="utf-8") as f:
    118.         f.write(text)
    119.     print(title + "爬取完毕")
    122. #开始
    123. if __name__ == "__main__":
    124.     #初始化
    125.     driver = init()
    126.     #爬取
    127.     Crawling(driver)