爬虫山脚课后练习参考答案

第0关
练习-文章下载-参考
题目要求：获取文章[《HTTP状态响应码》]全部内容，并且打印出全文内容。
文本URL：
https://localprod.pandateacher.com/python-manuscript/crawler-html/exercise/HTTP%E5%93%8D%E5%BA%94%E7%8A%B6%E6%80%81%E7%A0%81.md

首先调用requests库，使用requests.get(‘URL’)获取文件，返回的是Response对象。

然后需要把Response对象用合适的数据形式返回。

最后存储数据：

存储文件的三个步骤：打开文件，存储文件，关闭文件。

【提示】
这是一个文本，所以应该使用response.text，把Response对象的内容以字符串的形式返回。

【解答】
import requests
destnationurl = ‘https://localprod.pandateacher.com/python-manuscript/crawler—html/exercise/HTTP%E5%93%8D%E5%BA%94%E7%8A%B6%E6%80%81%E7%A0%81.md‘
res = requests.get (destnation_url)
print(res.status_code) # 查看响应码
article=res.text # 把Response对象的内容以字符串的形式返回
print(article)
练习-图片下载-参考
题目要求：
获取下面的图片，并储存图片。
https://res.pandateacher.com/2019-01-12-15-29-33.png
完成存储后，重新刷新页面，即可在【文件】内看到图片。

【提示】
1. 获取数据
图片URL：https://res.pandateacher.com/2019-01-12-15-29-33.png
首先调用requests库，使用requests.get(‘URL’)获取文件，返回的是Response对象。
然后需要把Response对象用合适的数据形式返回。

2. 存储数据
存储文件的三个步骤：打开文件，存储文件，关闭文件。
这是一个图片，所以应该使用response.content，把Response对象的内容以二进制数据的形式返回。

【解答】
import requests

res = requests.get(‘https://res.pandateacher.com/2019-01-12-15-29-33.png‘)
# 发出请求，并把返回的结果放在变量res中
pic=res.content
# 把Reponse对象的内容以二进制数据的形式返回
photo = open(‘spider.jpg’,’wb’)
# 新建了一个文件ppt.jpg，这里的文件没加路径，它会被保存在程序运行的当前目录下。
# 图片内容需要以二进制wb读写。你在学习open()函数时接触过它。
photo.write(pic)
# 获取pic的二进制内容
photo.close()
# 关闭文件
练习-音频下载-参考
题目要求：
获取下面的音乐，并且储存它，然后请刷新页面，这样你就可以在【文件】内看到它。音乐URL：
https://static.pandateacher.com/Over%20The%20Rainbow.mp3

1. 获取数据
音乐URL：https://static.pandateacher.com/Over%20The%20Rainbow.mp3
首先调用requests库，使用requests.get(‘URL’)获取文件，返回的是Response对象。
然后需要把Response对象用合适的数据形式返回。
2. 存储文件
存储文件的三个步骤：打开文件，存储文件，关闭文件。

【提示】
这是一个音频，所以应该使用response.content，把Response对象的内容以以二进制数据的形式返回。

【解答】
import requests
res=requests.get(‘https://static.pandateacher.com/Over%20The%20Rainbow.mp3‘)
# 发出请求，并把返回的结果放在变量res中
mp3=res.content
# 把Reponse对象的内容以二进制数据的形式返回
music = open(‘rainbow.mp3’,’wb’)
# 新建了一个文件ppt.jpg，这里的文件没加路径，它会被保存在程序运行的当前目录下。

# 图片内容需要以二进制wb读写。你在学习open()函数时接触过它。
music.write(mp3)

# 获取pic的二进制内容
music.close()
# 关闭文件




第1关
练习-我的书苑我作主-参考
复习了所有知识点，一切都准备就绪，那就开始写属于你的网页吧！
我已经把网页的HTML源代码准备好了，你直接在上面修改就好。
现在，请把网页这个书院不太冷5.0修改为你喜欢的模样。

必做：
- 修改网页标题
- 增加至少一本书的描述
- 修改网页底部

选做：
- 修改已有书籍的描述
- 增加多本书的描述
- 自由地在HTML文档上修改任意内容

【提示】

网页结构修改：
为了让网页的结构更加清晰，可以把每一本书都写成一个<div>元素。
细节的修改：
书籍封面图片的URL，你可以试试用豆瓣书籍主页的图片。右键点击图片，然后选择【复制图片地址】(https://res.pandateacher.com/2019-01-12-21-30-00.png))

【解答】
你的书苑你做主。
这是我给你的参考答案，你可以点开下面的链接看看：
https://localprod.pandateacher.com/python-manuscript/crawler-html/exercise/01-01-test.html




第2关
练习-博客爬虫-参考
题目要求：
你需要爬取的是博客【人人都是蜘蛛侠】中，《未来已来（四）——Python学习进阶图谱》的所有文章评论，并且打印。
文章URL:
https://wordpress-edu-3autumn.localprod.forc.work/all-about-the-future_04/

【提示】
首先，记得调用requests库和BeautifulSoup模块
然后，按照爬虫的四个步骤来写代码：（不需要写第3步存储数据）
第0步：获取数据
requests.get()
第1步：解析数据
BeautifulSoup(网页源代码的字符串格式,'html.parser')
第2步：提取数据
find_all()
for循环遍历list
Tag.text

【解答】
首先导入两个模块，然后按照获取数据、解析数据、提取数据一步一步写下来就可以啦~
import requests # 调用requests库

from bs4 import BeautifulSoup # 调用BeautifulSoup库

destnation_url = ‘https://wordpress-edu-3autumn.localprod.forc.work/all-about-the-future_04/‘

# 把网址复制给变量destnation_url

destnation = requests.get (destnation_url) # 返回一个response对象，赋值给destnation

soup = BeautifulSoup(destnation.text,’html.parser’) # 把网页解析为BeautifulSoup对象

comments = soup.find_all(‘div’,class= ‘comment-content’) #通过匹配属性提取出我们想要的元素

for comment in comments: # 遍历列表，取出列表中的每一个值

print(comment.text) # 打印评论的文本


练习-书店寻宝-参考

1.第一个小练习
题目要求：你需要爬取的是网上书店(http://books.toscrape.com/)中所有书的分类类型，并且将它们打印出来。网页URL:[http://books.toscrape.com/](http://books.toscrape.com/)

【提示】

要找到就需要先找到所有的li标签，仔细看HTML源代码的结构，这里需要嵌套提取好几层：
find('ul',class_='nav').find('ul').find_all('li')
最终打印结果，可以使用str.strip()去除特殊字符串。
比如，使用.strip()即可去掉’ 我是吴枫\n’文字前面的空格与后面的换行。

【解答】
import requests
from bs4 import BeautifulSoup


resbookstore = requests.get(‘http://books.toscrape.com/‘)
bs_bookstore = BeautifulSoup(res_bookstore.text,’html.parser’)
list_kind = bs_bookstore.find(‘ul’,class=’nav’).find(‘ul’).findall(‘li’) # 这里需要提取好几层


for tag_kind in list_kind:
tag_name = tag_kind.find(‘a’)
print(tag_name.text.strip()) # 去除特殊字符串，比如空格，\n，\t等等



2. 第二个小练习

题目要求：你需要爬取的是网上书店Books to ScrapeTravel这类书中，所有书的书名、评分、价格三种信息，并且打印提取到的信息。
网页URL:http://books.toscrape.com/catalogue/category/books/travel_2/index.html
在此，提取书名和评分都有一定难度，想不到怎么做？查看提示。

【提示】
1.提取书名：
需要注意的是，<a>标签中的文字内容所显示的不是完整书名，完整的书名是<a>标签中，<title>属性的值。
因此需要用到tag['属性名']来提取属性值。

2.提取评分：
需要注意的是，评分藏在了<p>标签的<class>属性中，它是<class>的第1个属性值。
我们需要根据<class>的第0个属性值<star-rating>提出它的第1个属性值。

【解答】
import requests
from bs4 import BeautifulSoup


res_bookstore = requests.get(‘http://books.toscrape.com/catalogue/category/books/travel_2/index.html‘)
bs_bookstore = BeautifulSoup(res_bookstore.text,’html.parser’)
list_books = bs_bookstore.find_all(class=’productpod’)
for tag_books in list_books:
tag_name = tag_books.find(‘h3’).find(‘a’) # 找到a标签需要提取两次
list_star = tag_books.find(‘p’,class=”star-rating”)
# 这个p标签的class属性有两种：”star-rating”，以及具体的几星比如”Two”。我们选择所有书都有的class属性：”star-rating”
tagprice = tag_books.find(‘p’,class=”pricecolor”) # 价格比较好找，根据属性提取，或者标签与属性一起都可以
print(tag_name[‘title’]) # 这里用到了tag[‘属性名’]提取属性值
print(‘star-rating:’,list_star[‘class’][1])
# 同样是用属性名提取属性值
# 用list_star[‘class’]提取出来之后是一个由两个值组成的列表，如：”[‘star-rating’, ‘Two’]”，我们最终要提取的是这个列表的第1个值：”Two”。
# 为什么是列表呢？因为这里的class属性有两个值。其实，在这个过程中，我们是使用class属性的第一个值提取出了第二个值。
print(‘Price:’,tag_price.text, end=’\n’+’———‘+’\n’) # 打印的时候，我加上了换行，为了让数据更加清晰地分隔开，当然你也可以不加。




练习-博客文章-参考
题目要求：你需要爬取的是博客(https://wordpress-edu-3autumn.localprod.forc.work/)，首页的四篇文章信息，并且打印提取到的信息。
提取每篇文章的：
- 文章标题
- 发布时间
- 文章链接
网页URL:https://spidermen.cn/

【提示】
文章题目与URL的提取方式稍有不同：
html<br /><h2 class="entry-title"><br /> <a href="https://wordpress-edu-3autumn.localprod.forc.work/all-about-the-future_04/" rel="bookmark">未来已来（四）——Python学习进阶图谱</a><br /></h2><br />
文章标题可以通过<h2>与`<class=”entry-title”>找到，并用Tag.text提取出。<br />而文章URL必须定位到元素才可以。<br /> <br />**【解答】**<br />import requests<br />from bs4 import BeautifulSoup<br /> <br /> <br />url_destnation = 'https://spidermen.cn/'<br />res_destnation = requests.get (url_destnation)<br />print(res_destnation.status_code) # 打印响应码<br /> <br /> <br />bs_articles = BeautifulSoup(res_destnation.text,'html.parser')<br />list_articles = bs_articles.find_all('header', class_ = "entry-header") # 首先找到每篇文章所在的相同的元素<br />for tag_article in list_articles: # 遍历列表<br /> tag_title = tag_article.find('h2',class_ = "entry-title") # 找文章标题<br /> tag_url = tag_article.find('a',rel = "bookmark") # 找文章链接<br /> tag_date = tag_article.find('time',class_="entry-date published") # 找文章发布时间<br /> print(tag_title.text,'发布于：',tag_date.text) # 打印文章标题与发布时间<br /> print(tag_url['href']) # 换行打印文章链接，需要使用属性名提取属性值<br /> <br /> <br /> <br /> <br /> <br /> <br />第3关<br />练习-豆瓣爬虫-参考<br />** 第一步：分析问题，明确结果**<br />问题需求就是把豆瓣TOP250里面的 序号/电影名/评分/推荐语/链接 都爬取下来，结果就是全部展示打印出来<br /> <br />**【讲解】**<br />问题需求就是把豆瓣TOP250里面的 序号/电影名/评分/推荐语/链接 都爬取下来，结果就是全部展示打印出来<br /> <br />**第二步：思考要用到的知识**<br />要爬取“序号/电影名/评分/推荐语/链接”这些信息，我们已经学习了用requests.get()获取数据，BeautifulSoup库解析数据，find()和find_all()提取数据，还有呢，观察下，一共10页，我们还要加个for循环对吧～<br /> <br />**【讲解】**<br />接下来我们一起分析网页吧～<br />进入首页 [https://movie.douban.com/top250?start=0&filter=](https://movie.douban.com/top250?start=0&filter=) ，打开检查工具，在Elements里查看这个网页，是什么结构。点击开发者工具左上角的小箭头，选中“肖申克的救赎”，这样就定位了电影名的所在位置，审查元素中显示：标签内的文本，class属性；推荐语和评分也是如此，，；序号：，标签内的文本，class属性；推荐语；链接是标签里href的值。最后，它们最小共同父级标签，是