当爬取的网页数据需要动态加载时（比如鼠标下滑才能加载出数据），可以使用selenium+scrapy(或者requests)

使用

需要下载浏览器驱动，如：chromedriver.exe，这个要对应自己浏览器版本，否则使用selenium打开浏览器时一闪而过

from selenium import webdriver
option = webdriver.ChromeOptions()
# 不打开网页
option.add_argument("headless")
bro = webdriver.Chrome(executable_path='D:\Pycharm\Zkh_Scrapy\chromedriver.exe', chrome_options=option)
# 打开指定链接
bro.get(url)