目标:1:掌握什么是网络爬虫2:网络爬虫的分类 一:什么是网络爬虫? 答:网络爬虫就是利用一段程序模拟人操作浏览器获取数据的过程,且模拟人操作浏览器越逼真越好! 二:网络爬虫的分类 通用爬虫:浏览器所用的爬虫,需要遵守 robots 君子协议 聚焦爬虫:针对一些特定网页获取数据 功能爬虫:利用爬虫实现一些功能,如自动投票、自动抢票等数据爬虫:利用爬虫获取一些指定网页的数据! 注意事项:在网站的根目录下输入 /robots.txt 可查看网站的 robots 协议