Python-Spider作业

Python-Spider作业

day01

• 了解爬虫的主要用途
• 了解反爬虫的基本手段
• 理解爬虫的开发思路
• 熟悉使用Chrome的开发者工具
• 使用urllib库获取《糗事百科》前3页数据
• 使用urllib库登录《速学堂》官网
• 爬取
• https://knewone.com/
• 58同城二手信息

day02

• 获取豆瓣电影分类排行榜 -前100条数据
• 数据opener的用法
• opener的构建
• 代理的使
• cookie的使用

• 了解cookie的作用
• 使用cookie登录虾米音乐
• 使用requests 库获取数据《纵横网小说排行》前3页数据
• 使用requests 登录速学堂

• day03

• 熟练使用re，了解基本语法的使用

• 熟练使用xpath，了解基本语法的使用
• 掌握BeautifulSoup，掌握css的用法
• 爬一部小说 盗墓笔记，要求保存成文件

• 爬取小猪短租信息

  day04

• 熟练使用selenium爬取方式

• 爬取拉钩职位

• 80s网站的抓取

  day05

• 熟悉scrapy的基本使用（创建与运行，目录结构）

• 爬取当当网python图书信息

• 爬取17173游戏排行信息

  day06

• 掌握3种调试方式

• debug
• scrapy shell
• test Restful 插件

• 掌握crawlspider的使用

• 掌握动态UA与PROXY的使用

  dya07

• 掌握3种登录的思路

• 掌握MOngo的基本使用

• 完成练习题``` 创建年级，并随机添加 10 名学生；

   for (var i = 1; i <= 10; i++) {
       db.grade.insert({
           "name": "zhangsan" + i,
           "sex": Math.round(Math.random() * 10) % 2,
           "age": Math.round(Math.random() * 6) + 3,
           "hobby": []
       });
   }

```

• 查看grade班级中的所有学生

• 查看grade班级中所有年龄是 4 岁的学生

• 查看grade班级中所有年龄大于 4 岁的学生

• 查看grade班级中所有年龄大于 4 岁并且小于 7 岁的学生

• 查看grade班级中所有年龄大于 4 岁并且性别值为0的学生

• 查看grade班级中所有年龄小于 4 或者大于 7 岁的学生

• 查看grade班级中所有年龄是 4 岁或 6 岁的学生

• 查看grade班级中所有姓名带zhangsan1的学生

• 查看grade班级中所有姓名带zhangsan1和zhangsan2的学生

• 查看grade班级中所有兴趣爱好有三项的学生

• 查看grade班级中所有兴趣爱好包括画画的学生

• 查看grade班级中所有兴趣爱好既包括画画又包括跳舞的学生

• 查看grade班级中所有兴趣爱好有三项的学生的学生数目

• 查看grade班级的第二位学生

• 查看grade班级的学生，按年纪升序

• 查看grade班级的学生，按年纪降序

day08

• 熟悉搭建splash的环境
• 使用requests库结合splash爬虫当当网

• 使用scrapy结合splash爬取瓜子二手车信息

  day09

• 熟练使用scrapy-redis插件

• 使用scrapy-redis爬取51job求职信息