爬取豆瓣电影排行榜

准备工作

首先引入包

  1. from bs4 import BeautifulSoup  #网页解析，获取数据
  2. import re   #正则表达式，进行文字匹配
  3. import urllib.request,urllib.error  #制定url，获取网页数据
  4. import xlwt     #进行excel操作
  5. import sqlite3  #sqlite数据库操作

urllib的介绍

urllib是一个爬虫函数库，非常实用。在python2时，有urllib和urllib2.0，到了python3，将这两个urllib结合了。

可以进入http://httpbin.org/ 该测试界面，更能了解爬虫的作用

获取一个get请求

get请求通常为

  1. import urllib.request        #包的导入
  2. #urllib.request.urlopen()    打开指定网页，获取其中的信息
  3. #response.read().decode('utf-8')    对获取到的网页进行读的操作，并且转换成utf-8的形式
  4. response = urllib.request.urlopen("http://www.baidu.com")
  5. print(response.read().decode('utf-8'))  
  6. #将会把百度页面的代码给爬下来

获取一个post请求

  1. import urllib.parse        #额外导入一个包，用来转换数据
  2. date = bytes(urllib.parse.urlencode({    #设置post数据
  3.     "hello":"world"
  4. }),encoding="utf-8")            #必须转换成utf-8才可以使用
  5. response = urllib.request.urlopen("http://httpbin.org/post",data=date)
  6. print(response.read().decode('utf-8'))

超时处理

有些时候难免会出现禁止爬虫，网速太慢的情况。会一直卡着，并且需要手动退出，此时我们需要添加个额外数值

  1. try:
  2.     response = urllib.request.urlopen("http://httpbin.org/get",timeout=1)
  3.     #如果1秒后没有响应，会停止程序，并且报错
  4.     print(response.read().decode('utf-8'))
  5. except urllib.error.URLError as e:
  6.     print("timeout")

一些属性

  1. response = urllib.request.urlopen("http://httpbin.org/get", timeout=1)
  2. print(response.status)  # 获取状态码
  3. print(response.getheader("Server"))

定制请求头，不让网页发现我们是爬虫

  1. url = "https://www.douban.com"        #设置url
  2. url_s = "http://httpbin.org/post"
  3. header = {        #设置请求头
  4.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.40"
  5. }
  6. #使用Request方法
  7. request = urllib.request.Request(url=url, headers=header)
  8. response = urllib.request.urlopen(request)
  9. print(response.read().decode("utf-8"))
  10. #添加post数据
  11. data = bytes(urllib.parse.urlencode({
  12.     'name': 'liao'
  13. }),encoding='utf-8')
  14. request_s = urllib.request.Request(url=url_s, headers=header, method="POST")
  15. response_s = urllib.request.urlopen(request_s)
  16. print(response_s.read().decode('utf-8'))

Bs4获取数据

我们使用bs4来进行演示

  1. <!DOCTYPE html>
  2. <html lang="en">
  3. <head>
  4.     <meta charset="UTF-8">
  5.     <title>Title</title>
  6. </head>
  7. <body>
  8. <div>
  9.     <ul>
  10.         <li id ="liao1">张三</li>
  11.         <li id = "l2">李四</li>
  12.         <li>王五</li>
  13.         <a href="" class="a1">里奥奥</a>
  14.         <span>test hahahah</span>
  15.     </ul>
  16. </div>
  17. <a href="" title="a2">baidu</a>
  18. <div id="d1">
  19.     <span>
  20.         笑死我了，全是男同
  21.     </span>
  22. </div>
  23. <p id="wuhu" class="qwq">wdnmd</p>
  26. </body>
  27. </html>
  1. from bs4 import BeautifulSoup
  2. soup = BeautifulSoup(open('test.html',encoding='utf-8'),'lxml')
  3. #1.根据标签名称查找
  4. print(soup.a)   #查找第一个标签为a的内容
  5. print(soup.a.attrs)     #展示标签的属性和属性值
  7. #bs4的一些函数
  8. #1.find
  9. print(soup.find('a'))   #查找第一个标签为a的内容
  10. print(soup.find('a',title="a2"))    #查找第一个标签为a并且title=a2的内容
  11. print(soup.find('a',class_="a1"))   #查找第一个标签为a并且class=1的内容
  12. #2.find_all
  13. print(soup.find_all('a'))   #查找所有的a标签，并且返回列表
  14. print(soup.find_all(['a','span']))  #查找所有的a和span标签
  15. print(soup.find_all('li',limit=2))  #查找li标签，前两个的内容
  16. #3.select
  17. print(soup.select('a'))     #查找所有a标签，返回列表
  18. print(soup.select(('.a1')))     #查找class为a1的内容
  19. print(soup.select('#liao1'))    #查找id为liao1的内容
  20. #属性选择器
  21. print(soup.select('li[id]'))    #查找li中包含id属性的内容
  22. print(soup.select('li[id="l2"]'))   #查找li中id为l2的内容
  23. #层级选择器
  24. #后代
  25. print(soup.select('div li'))    #查找div后代有li的内容
  26. #子代
  27. print(soup.select('div > ul > li'))     #查找div后ul后li的内容
  28. print(soup.select('a,li'))  #查找a标签和li标签的所有对象
  29. #节点信息
  30. obj = soup.select('#d1')[0]     #查找id为d1的属性的第一个内容
  31. print(obj)      #打印html
  32. print(obj.get_text())   #只打印字符内容
  33. #节点属性
  34. obj = soup.select('#wuhu')[0]
  35. print(soup.select('#wuhu'))
  36. print(obj.name)     #打印该内容的属性值
  37. #获取节点的
  38. print(obj.attrs.get('class'))   #打印class属性的值
  39. print(obj.get('class'))         #打印class属性的值
  40. print(obj['class'])             #打印class属性的值

正则表达式

Python爬取豆瓣电影排行榜 - 图1

Python爬取豆瓣电影排行榜 - 图2

Python爬取豆瓣电影排行榜 - 图3

Python爬取豆瓣电影排行榜 - 图4

示例：

  1. #正则表达式：字符串模式，判断字符串是否符合一定的规律
  2. import re
  3. # 创建模板对象
  4. pat = re.compile("AA")  #此处的AA 是正则表达式 用来去验证其他的字符串
  5. m = pat.search("AABCAABADAA")      #search方法，查找是否存在字符并且打印位置信息
  6. print(m)    #<re.Match object; span=(3, 5), match='AA'>
  8. #没有模板对象
  9. n = re.search("ABC","ASDABC")   #前面的字符串是规则，后面的是被校验的对象
  10. print(n)
  11. #findall 打印出相匹配的内容
  12. print(re.findall("a","asdcawerqaa"))    #前面是规则，后面是被校验的字符串
  13. #查找所有的大写字母
  14. print(re.findall("[A-Z]","ASDCsdsaSADW"))
  15. #查找所有大写字母
  16. print(re.findall("[A-Z]+","ASDCsdsaSADW"))
  17. #查找不包含a的字母
  18. print(re.findall("[^a]","abcsadwcasabccx"))
  19. #sub    内容替换
  20. print(re.sub("a","A","asdcasADASD"))    #找到a用A来替换第三个字符串的内容
  21. #建议在正则表达式中，被比较的字符串前面加上r，不用担心转义字符的问题

数据保存

保存到excel

将所打印的数据保存到excel文件中。

流程：创建workbook对象——创建工作表——添加数据——保存workbook

  1. import xlwt        #导入包
  3. workbook = xlwt.Workbook(encoding='utf-8')  # 创建workbook对象
  4. worksheet = workbook.add_sheet('sheet1')  # 创建工作表
  5. worksheet.write(0, 0, 'hello')  # 写入数据，第一个为”行“，第二个为”列“
  6. for i in range(1, 10):
  7.     for j in range(1, i + 1):
  8.         worksheet.write(i-1, j-1, '%d*%d=%d' % (i, j, i * j))
  9. workbook.save('student.xls')

保存到sqlite

  1. import sqlite3
  3. # 连接数据表
  4. conn = sqlite3.connect("test.db")  # 在当前路径创建数据库
  5. print("成功打开数据库")
  6. c = conn.cursor()  # 获取游标
  8. # 创建数据表
  9. sql1 = '''
  10.     create table company
  11.         (id int primary key not null,
  12.         name text not null,
  13.         age int not null,
  14.         address char(50),
  15.         salary real);
  16. '''
  17. c.execute(sql1)  # 执行sql语句
  18. print("成功创建表")
  20. # 插入数据
  21. sql2 = '''
  22.     insert into company(id,name,age,address,salary)
  23.     values (1,"张三",32,"成都",8000)
  24. '''
  25. c.execute(sql2)  # 执行sql语句
  26. # 查询数据
  27. sql3 = '''
  28. select id,name,address,salary from company;
  29. '''
  30. cursor = c.execute(sql3)
  31. for row in cursor:
  32.     print(row[0])
  33.     print(row[1])
  34.     print(row[2])
  35.     print(row[3])
  36. print("查询完毕")
  37. conn.commit()  # 提交数据库操作
  38. conn.close()  # 关闭数据库连接

代码示例

将数据保存在excel

  1. # -*- coding = utf-8 -*-
  2. # @Time : 2022/1/2 19:38
  3. # @Author : LiAo
  4. # @File : spider_douban.py
  5. # @Software : PyCharm
  6. from bs4 import BeautifulSoup  # 网页解析，获取数据
  7. import re  # 正则表达式，进行文字匹配
  8. import urllib.request, urllib.error  # 制定url，获取网页数据
  9. import xlwt  # 进行excel操作
  10. import sqlite3  # sqlite数据库操作
  13. def main():
  14.     baseurl = "https://movie.douban.com/top250?start="
  15.     # 1.爬取网页
  16.     datalist = getData(baseurl)
  17.     # 3.保存数据
  18.     savepath = "豆瓣电影top250.xls"
  19.     saveData(datalist, savepath)
  20.     askURL("https://movie.douban.com/top250?start=")
  23. # 影片的链接
  24. findLink = re.compile(r'<a href="(.*?)">')  # 创建正则表达式对象
  25. # 影片的图片
  26. findImageSrc = re.compile(r'<img.*src="(.*?)"', re.S)  # 让换行符包含在字符中
  27. # 影片的片名
  28. findTitle = re.compile(r'<span class="title">(.*)</span>')
  29. # 影片的评分
  30. findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
  31. # 评价人数
  32. findJudge = re.compile(r'<span>(\d*)人评价</span>')
  33. # 找到概况
  34. findInq = re.compile(r'<span class="inq">(.*)</span>')
  35. # 影片信息
  36. findBd = re.compile(r'<p class="">(.*?)</p>', re.S)
  39. # 爬取网页
  40. def getData(baseurl):
  41.     datalist = []  # 获取的网页的数据
  42.     for i in range(0, 10):  # 调用获取页面信息的函数！10次。
  43.         url = baseurl + str(i * 25)
  44.         html = askURL(url)  # 保存获取到的网页源码
  45.         # 逐一进行解析
  46.         soup = BeautifulSoup(html, "html.parser")
  47.         for item in soup.find_all('div', class_="item"):  # 查找符合要求的字符串，形成列表
  48.             # print(item)
  49.             data = []  # 保存一部电影的信息
  50.             item = str(item)
  51.             links = re.findall(findLink, item)[0]  # re库，通过正则查找字符串模式
  52.             data.append(links)
  53.             imgSrc = re.findall(findImageSrc, item)[0]
  54.             data.append(imgSrc)
  55.             titles = re.findall(findTitle, item)  # 片名可能只有一个
  56.             if len(titles) == 2:
  57.                 ctitle = titles[0]  # 添加中文名
  58.                 data.append(ctitle)
  59.                 otitle = titles[1].replace("/", "")  # 无关的符号
  60.                 data.append(otitle)  # 添加中国名
  61.             else:
  62.                 data.append(titles[0])
  63.                 data.append(" ")  # 因为要加入到excel，要给外国名留空
  64.             rating = re.findall(findRating, item)[0]
  65.             data.append(rating)
  66.             judge = re.findall(findJudge, item)[0]
  67.             data.append(judge)
  68.             inq = re.findall(findInq, item)
  69.             if len(inq) != 0:
  70.                 inq = inq[0].replace("。", "")  # 去掉句号
  71.                 data.append(inq)
  72.             else:
  73.                 data.append(" ")
  74.             bd = re.findall(findBd, item)[0]
  75.             bd = re.sub(r'<br(\s+)?/>(\s+?)', " ", bd)  # 去掉br/
  76.             bd = re.sub(r'/', " ", bd)
  77.             data.append(bd.strip())  # 去掉前后空格
  78.             datalist.append(data)  # 将处理好的data添加到datalist
  79.     print(datalist)
  80.     return datalist
  83. # 得到指定一个URL的网页内容
  84. def askURL(url):
  85.     header = {  # 模拟浏览器头部信息，向网页服务器发送消息
  86.         "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.40"
  87.     }
  88.     request = urllib.request.Request(url=url, headers=header)
  89.     html = ""
  90.     try:
  91.         response = urllib.request.urlopen(request)
  92.         html = response.read().decode('utf-8')
  93.         # print(html)
  94.     except urllib.error.URLError as e:
  95.         if hasattr(e, 'code'):
  96.             print(e.code)
  97.         if hasattr(e, 'reason'):
  98.             print(e.reason)
  99.     return html
  102. # 保存数据
  103. def saveData(datalist, savePath):
  104.     workbook = xlwt.Workbook(encoding='utf-8')  # 创建workbook对象
  105.     worksheet = workbook.add_sheet('豆瓣电影top250', cell_overwrite_ok=True)  # 创建工作表
  106.     col = ('电影详情连接', "图片连接", "中文名", "外国名", "评分", "评价数", "概况", "相关信息")
  107.     for i in range(0, 8):
  108.         worksheet.write(0, i, col[i])
  109.     for i in range(0, 250):
  110.         print("第%d条" % (i+1))
  111.         data = datalist[i]
  112.         for j in range(0, 8):
  113.             worksheet.write(i + 1, j, data[j])
  114.     workbook.save(savePath)  # 保存到excel
  117. if __name__ == "__main__":
  118.     main()
  119.     print("爬取完毕")

保存到sqlite

  1. # -*- coding = utf-8 -*-
  2. # @Time : 2022/1/2 19:38
  3. # @Author : LiAo
  4. # @File : spider_douban.py
  5. # @Software : PyCharm
  6. from bs4 import BeautifulSoup  # 网页解析，获取数据
  7. import re  # 正则表达式，进行文字匹配
  8. import urllib.request, urllib.error  # 制定url，获取网页数据
  9. import xlwt  # 进行excel操作
  10. import sqlite3  # sqlite数据库操作
  13. def main():
  14.     baseurl = "https://movie.douban.com/top250?start="
  15.     # 1.爬取网页
  16.     datalist = getData(baseurl)
  17.     # 3.保存数据
  18.     # savepath = "豆瓣电影top250.xls"
  19.     # saveData(datalist, savepath)
  20.     # askURL("https://movie.douban.com/top250?start=")
  21.     dbpath = "movie.db"
  22.     saveData2DB(datalist, dbpath)
  25. # 影片的链接
  26. findLink = re.compile(r'<a href="(.*?)">')  # 创建正则表达式对象
  27. # 影片的图片
  28. findImageSrc = re.compile(r'<img.*src="(.*?)"', re.S)  # 让换行符包含在字符中
  29. # 影片的片名
  30. findTitle = re.compile(r'<span class="title">(.*)</span>')
  31. # 影片的评分
  32. findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
  33. # 评价人数
  34. findJudge = re.compile(r'<span>(\d*)人评价</span>')
  35. # 找到概况
  36. findInq = re.compile(r'<span class="inq">(.*)</span>')
  37. # 影片信息
  38. findBd = re.compile(r'<p class="">(.*?)</p>', re.S)
  41. # 爬取网页
  42. def getData(baseurl):
  43.     datalist = []  # 获取的网页的数据
  44.     for i in range(0, 10):  # 调用获取页面信息的函数！10次。
  45.         url = baseurl + str(i * 25)
  46.         html = askURL(url)  # 保存获取到的网页源码
  47.         # 逐一进行解析
  48.         soup = BeautifulSoup(html, "html.parser")
  49.         for item in soup.find_all('div', class_="item"):  # 查找符合要求的字符串，形成列表
  50.             # print(item)
  51.             data = []  # 保存一部电影的信息
  52.             item = str(item)
  53.             links = re.findall(findLink, item)[0]  # re库，通过正则查找字符串模式
  54.             data.append(links)
  55.             imgSrc = re.findall(findImageSrc, item)[0]
  56.             data.append(imgSrc)
  57.             titles = re.findall(findTitle, item)  # 片名可能只有一个
  58.             if len(titles) == 2:
  59.                 ctitle = titles[0]  # 添加中文名
  60.                 data.append(ctitle)
  61.                 otitle = titles[1].replace("/", "")  # 无关的符号
  62.                 data.append(otitle)  # 添加中国名
  63.             else:
  64.                 data.append(titles[0])
  65.                 data.append(" ")  # 因为要加入到excel，要给外国名留空
  66.             rating = re.findall(findRating, item)[0]
  67.             data.append(rating)
  68.             judge = re.findall(findJudge, item)[0]
  69.             data.append(judge)
  70.             inq = re.findall(findInq, item)
  71.             if len(inq) != 0:
  72.                 inq = inq[0].replace("。", "")  # 去掉句号
  73.                 data.append(inq)
  74.             else:
  75.                 data.append(" ")
  76.             bd = re.findall(findBd, item)[0]
  77.             bd = re.sub(r'<br(\s+)?/>(\s+?)', " ", bd)  # 去掉br/
  78.             bd = re.sub(r'/', " ", bd)
  79.             data.append(bd.strip())  # 去掉前后空格
  80.             datalist.append(data)  # 将处理好的data添加到datalist
  81.     print(datalist)
  82.     return datalist
  85. # 得到指定一个URL的网页内容
  86. def askURL(url):
  87.     header = {  # 模拟浏览器头部信息，向网页服务器发送消息
  88.         "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.40"
  89.     }
  90.     request = urllib.request.Request(url=url, headers=header)
  91.     html = ""
  92.     try:
  93.         response = urllib.request.urlopen(request)
  94.         html = response.read().decode('utf-8')
  95.         # print(html)
  96.     except urllib.error.URLError as e:
  97.         if hasattr(e, 'code'):
  98.             print(e.code)
  99.         if hasattr(e, 'reason'):
  100.             print(e.reason)
  101.     return html
  104. # 保存数据
  105. def saveData(datalist, savePath):
  106.     workbook = xlwt.Workbook(encoding='utf-8')  # 创建workbook对象
  107.     worksheet = workbook.add_sheet('豆瓣电影top250', cell_overwrite_ok=True)  # 创建工作表
  108.     col = ('电影详情连接', "图片连接", "中文名", "外国名", "评分", "评价数", "概况", "相关信息")
  109.     for i in range(0, 8):
  110.         worksheet.write(0, i, col[i])
  111.     for i in range(0, 250):
  112.         print("第%d条" % (i + 1))
  113.         data = datalist[i]
  114.         for j in range(0, 8):
  115.             worksheet.write(i + 1, j, data[j])
  116.     workbook.save(savePath)  # 保存到excel
  119. def saveData2DB(datalist, dbpath):
  120.     init_db(dbpath)
  121.     conn = sqlite3.connect(dbpath)
  122.     cur = conn.cursor()
  123.     for data in datalist:
  124.         for index in range(len(data)):
  125.             if index == 4 or index == 5:
  126.                 continue
  127.             data[index] = '"' + data[index] + '"'
  128.         sql = '''
  129.             insert into movie250(
  130.             info_link,pic_link,cname,ename,score,rated,instroduction,info
  131.             )values(%s)''' % ",".join(data)  # 将data列表用，连接起来
  132.         cur.execute(sql)
  133.         conn.commit()
  134.     cur.close()
  135.     conn.close()
  138. def init_db(dbpath):
  139.     sql = '''
  140.     create table movie250(
  141.     id integer primary key autoincrement,
  142.     info_link text,
  143.     pic_link text,
  144.     cname varchar,
  145.     ename varchar,
  146.     score numeric,
  147.     rated numeric ,
  148.     instroduction text,
  149.     info text
  150.     );
  151.     '''  # 创建数据表
  152.     conn = sqlite3.connect(dbpath)
  153.     cursor = conn.cursor()  # 获取游标
  154.     cursor.execute(sql)  # 执行语句
  155.     conn.commit()  # 提交数据库操作
  156.     conn.close()  # 保存并关闭数据库
  159. if __name__ == "__main__":
  160.     main()
  161.     # init_db("moivetest.db")
  162.     print("爬取完毕")

详细注释版

  1. # -*- coding = utf-8 -*-
  2. # @Time : 2022/1/2 19:38
  3. # @Author : LiAo
  4. # @File : spider_douban.py
  5. # @Software : PyCharm
  6. from bs4 import BeautifulSoup  # 网页解析，获取数据
  7. import re  # 正则表达式，进行文字匹配
  8. import urllib.request, urllib.error  # 制定url，获取网页数据
  9. import xlwt  # 进行excel操作
  10. import sqlite3  # sqlite数据库操作
  12. def main():
  13.     #爬取的网页，这里末尾不能填写0。
  14.     baseurl = "https://movie.douban.com/top250?start="
  15.     datalist = getData(baseurl)
  16.     # savepath = "豆瓣电影top250.xls"
  17.     # saveData(datalist, savepath)
  18.     # askURL("https://movie.douban.com/top250?start=")
  19.     dbpath = "movie.db"
  20.     saveData2DB(datalist, dbpath)
  23. # 影片的链接
  24. findLink = re.compile(r'<a href="(.*?)">')  # 创建正则表达式对象
  25. # 影片的图片
  26. findImageSrc = re.compile(r'<img.*src="(.*?)"', re.S)  # 让换行符包含在字符中
  27. # 影片的片名
  28. findTitle = re.compile(r'<span class="title">(.*)</span>')
  29. # 影片的评分
  30. findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
  31. # 评价人数
  32. findJudge = re.compile(r'<span>(\d*)人评价</span>')
  33. # 找到概况
  34. findInq = re.compile(r'<span class="inq">(.*)</span>')
  35. # 影片信息
  36. findBd = re.compile(r'<p class="">(.*?)</p>', re.S)
  39. # 爬取网页
  40. def getData(baseurl):
  41.     datalist = []  # 获取的网页的数据
  42.     for i in range(0, 10):  # 调用获取页面信息的函数！10次。
  43.         url = baseurl + str(i * 25)
  44.         html = askURL(url)  # 保存获取到的网页源码
  45.         # 逐一进行解析
  46.         soup = BeautifulSoup(html, "html.parser")
  47.         for item in soup.find_all('div', class_="item"):  # 查找符合要求的字符串，形成列表
  48.             # print(item)
  49.             data = []  # 保存一部电影的信息
  50.             item = str(item)
  51.             links = re.findall(findLink, item)[0]  # re库，通过正则查找字符串模式
  52.             data.append(links)
  53.             imgSrc = re.findall(findImageSrc, item)[0]
  54.             data.append(imgSrc)
  55.             titles = re.findall(findTitle, item)  # 片名可能只有一个
  56.             if len(titles) == 2:
  57.                 ctitle = titles[0]  # 添加中文名
  58.                 data.append(ctitle)
  59.                 otitle = titles[1].replace("/", "")  # 无关的符号
  60.                 data.append(otitle)  # 添加中国名
  61.             else:
  62.                 data.append(titles[0])
  63.                 data.append(" ")  # 因为要加入到excel，要给外国名留空
  64.             rating = re.findall(findRating, item)[0]
  65.             data.append(rating)
  66.             judge = re.findall(findJudge, item)[0]
  67.             data.append(judge)
  68.             inq = re.findall(findInq, item)
  69.             if len(inq) != 0:
  70.                 inq = inq[0].replace("。", "")  # 去掉句号
  71.                 data.append(inq)
  72.             else:
  73.                 data.append(" ")
  74.             bd = re.findall(findBd, item)[0]
  75.             bd = re.sub(r'<br(\s+)?/>(\s+?)', " ", bd)  # 去掉br/
  76.             bd = re.sub(r'/', " ", bd)
  77.             data.append(bd.strip())  # 去掉前后空格
  78.             datalist.append(data)  # 将处理好的data添加到datalist
  79.     print(datalist)
  80.     return datalist
  83. # 得到指定一个URL的网页内容
  84. def askURL(url):
  85.     header = {  # 模拟浏览器头部信息，向网页服务器发送消息
  86.         "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.40"
  87.     }
  88.     request = urllib.request.Request(url=url, headers=header)
  89.     html = ""
  90.     try:
  91.         response = urllib.request.urlopen(request)
  92.         html = response.read().decode('utf-8')
  93.         # print(html)
  94.     except urllib.error.URLError as e:
  95.         if hasattr(e, 'code'):
  96.             print(e.code)
  97.         if hasattr(e, 'reason'):
  98.             print(e.reason)
  99.     return html
  102. # 保存数据
  103. def saveData(datalist, savePath):
  104.     workbook = xlwt.Workbook(encoding='utf-8')  # 创建workbook对象
  105.     worksheet = workbook.add_sheet('豆瓣电影top250', cell_overwrite_ok=True)  # 创建工作表
  106.     col = ('电影详情连接', "图片连接", "中文名", "外国名", "评分", "评价数", "概况", "相关信息")
  107.     for i in range(0, 8):
  108.         worksheet.write(0, i, col[i])
  109.     for i in range(0, 250):
  110.         print("第%d条" % (i + 1))
  111.         data = datalist[i]
  112.         for j in range(0, 8):
  113.             worksheet.write(i + 1, j, data[j])
  114.     workbook.save(savePath)  # 保存到excel
  117. def saveData2DB(datalist, dbpath):
  118.     init_db(dbpath)
  119.     conn = sqlite3.connect(dbpath)
  120.     cur = conn.cursor()
  121.     for data in datalist:
  122.         for index in range(len(data)):
  123.             if index == 4 or index == 5:
  124.                 continue
  125.             data[index] = '"' + data[index] + '"'
  126.         sql = '''
  127.             insert into movie250(
  128.             info_link,pic_link,cname,ename,score,rated,instroduction,info
  129.             )values(%s)''' % ",".join(data)  # 将data列表用，连接起来
  130.         cur.execute(sql)
  131.         conn.commit()
  132.     cur.close()
  133.     conn.close()
  136. def init_db(dbpath):
  137.     sql = '''
  138.     create table movie250(
  139.     id integer primary key autoincrement,
  140.     info_link text,
  141.     pic_link text,
  142.     cname varchar,
  143.     ename varchar,
  144.     score numeric,
  145.     rated numeric ,
  146.     instroduction text,
  147.     info text
  148.     );
  149.     '''  # 创建数据表
  150.     conn = sqlite3.connect(dbpath)
  151.     cursor = conn.cursor()  # 获取游标
  152.     cursor.execute(sql)  # 执行语句
  153.     conn.commit()  # 提交数据库操作
  154.     conn.close()  # 保存并关闭数据库
  157. if __name__ == "__main__":
  158.     main()
  159.     # init_db("moivetest.db")
  160.     print("爬取完毕")