爬虫-0719

# -- coding:UTF-8 --
from bs4 import BeautifulSoup
import requests
if name == “main“:
target = ‘http://www.biqukan.com/1_1094/‘
req = requests.get(url = target)
html = req.text
div_bf = BeautifulSoup(html)
div = div_bf.find_all(‘div’, class = ‘listmain’)
print(div[0])_

还是使用find_all方法，接下来再匹配每一个标签，并提取章节名和章节文章。如果我们使用Beautiful Soup匹配到了下面这个标签，如何提取它的href属性和标签里存放的章节名呢？
第一章 他叫白小纯
方法很简单，对Beautiful Soup返回的匹配结果a，使用a.get(‘href’)方法就能获取href的属性值，使用a.string就能获取章节名，编写代码如下：

# -- coding:UTF-8 --
from bs4 import BeautifulSoup
import requests
if name == “main“:
server = ‘http://www.biqukan.com/‘
target = ‘http://www.biqukan.com/1_1094/‘
req = requests.get(url = target) html = req.text
div_bf = BeautifulSoup(html)
div = div_bf.find_all(‘div’, class = ‘listmain’)
abf = BeautifulSoup(str(div[0]))
a = a_bf.find_all(‘a’)
for each in a:
print(each.string, server + each.get(‘href’))

因为find_all返回的是一个列表，里边存放了很多的标签，所以使用for循环遍历每个标签并打印出来。
最上面匹配的一千多章的内容是最新更新的12章节的链接。这12章内容会和下面的重复，所以我们要滤除，除此之外，还有那3个外传，我们也不想要。这些都简单地剔除就好。
（3）整合代码
每个章节的链接、章节名、章节内容都有了。接下来就是整合代码，将获得内容写入文本文件存储就好了。编写代码如下：

def init(self):
self.server = ‘http://www.biqukan.com/‘
self.target = ‘http://www.biqukan.com/1_1094/‘
self.names = [] #存放章节名
self.urls = [] #存放章节链接
self.nums = 0 #章节数

“””
函数说明:获取下载链接
Parameters:
无
Returns:
无
Modify:
2017-09-13
“””
def get_download_url(self):
req = requests.get(url = self.target)
html = req.text
div_bf = BeautifulSoup(html)
div = div_bf.find_all(‘div’, class = ‘listmain’)
abf = BeautifulSoup(str(div[0]))
a = a_bf.find_all(‘a’)
self.nums = len(a[15:]) #剔除不必要的章节，并统计章节数
for each in a[15:]:
self.names.append(each.string)
self.urls.append(self.server + each.get(‘href’))

“””
函数说明:获取章节内容
Parameters:
target - 下载连接(string)
Returns:
texts - 章节内容(string)
Modify:
2017-09-13
“””
def get_contents(self, target):
req = requests.get(url = target)
html = req.text
bf = BeautifulSoup(html)
texts = bf.find_all(‘div’, class = ‘showtxt’)
texts = texts[0].text.replace(‘\xa0’*8,’\n\n’)
return texts_

“””
函数说明:将爬取的文章内容写入文件
Parameters:
name - 章节名称(string)
path - 当前路径下,小说保存名称(string)
text - 章节内容(string)
Returns:
无
Modify:
2017-09-13
“””
def writer(self, name, path, text):
write_flag = True
with open(path, ‘a’, encoding=’utf-8’) as f:
f.write(name + ‘\n’)
f.writelines(text)
f.write(‘\n\n’)

if name == “main“:
dl = downloader()
dl.get_download_url()
print(‘《一年永恒》开始下载：’)
for i in range(dl.nums):
dl.writer(dl.names[i], ‘一念永恒.txt’, dl.get_contents(dl.urls[i]))
sys.stdout.write(“ 已下载:%.3f%%” % float(i/dl.nums) + ‘\r’)
sys.stdout.flush()
print(‘《一年永恒》下载完成’)

很简单的程序，单进程跑，没有开进程池。下载速度略慢。

2 优美壁纸下载

（1）实战背景
已经会爬取文字了，是不是感觉爬虫还是蛮好玩的呢？接下来，让我们进行一个进阶实战，了解一下反爬虫。
URL：https://unsplash.com/
看一看这些优美的壁纸，这个网站的名字叫做Unsplash，免费高清壁纸分享网是一个坚持每天分享高清的摄影图片的站点，每天更新一张高质量的图片素材，全是生活中的景象作品，清新的生活气息图片可以作为桌面壁纸也可以应用于各种需要的环境。
（2）实战进阶
我们已经知道了每个html标签都有各自的功能。标签存放一下超链接，图片存放在哪个标签里呢？html规定，图片统统给我放到标签中！既然这样，我们截取就Unsplash网站中的一个标签，分析一下：

可以看到，标签有很多属性，有alt、src、class、style属性，其中src属性存放的就是我们需要的图片保存地址，我们根据这个地址就可以进行图片的下载。
那么，让我们先捋一捋这个过程：

# -- coding:UTF-8 --
import requests
if name == ‘main‘:
target = ‘https://unsplash.com/‘
req = requests.get(url=target)
print(req.text)

按照我们的设想，我们应该能找到很多标签。但是我们发现，除了一些