1. # -*- coding = ut-8 -*-
    2. # @Time : 2021/3/25 14:48
    3. # @Author : PHC
    4. # @File spider.py
    5. # @Software : PyCharm
    7. from bs4 import BeautifulSoup                  #网页解析，获取数据
    8. import re                   #正则表达式，进行文字匹配
    9. import urllib.request,urllib.error          #制定URL，获取网页数据
    10. import xlwt                 #进行EXCEL操作
    11. import sqlite3              #进行SQLite数据库操作
    13. def main():
    14.     baseurl="https://movie.douban.com/top250?start=0"
    15.     # 1、爬取网页
    16.     datalist=getData(baseurl)
    17.     # savepath="豆瓣电影Top250.xls"     #保存到Excel中的路径
    19.     #保存到数据库中。
    20.     dbpath="movie.db"
    22.     # 3、保存数据
    23.     #-------------  同行缩进---------------------      同行缩进--------------------------
    24.     # saveData(datalist,savepath)
    27.     saveDataDB(datalist,dbpath)
    31.     #askURL("https://movie.douban.com/top250?start=0")           #测试能否访问页面。
    34. #影片详情定制的规则 ----------------------------------------------------------------
    35. findLink=re.compile(r'<a href="(.*?)">')            #compile() 创建正则表达式对象，表示规则（字符串得模式）
    36. #   (.*?)  其中各符号分别为  （）表示一个组，（即一个整体） . 表示一个字符  * 表示零个或多个   ？表示0次或一次
    38. #影片图片的链接规则
    39. findImgSrc=re.compile(r'<img.*src="(.*?)"',re.S)    #  re.S让换行符包含在字符中  否则不包含换行符
    40. #影片的片名
    41. findTitle=re.compile(r'<span class="title">(.*)</span>')
    42. #影片的评分
    43. findRating=re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
    44. #找到评价人数
    45. findJudge=re.compile(r'<span>(\d*)人评价</span>')
    46. #找到概况
    47. findInq=re.compile(r'<span class="inq">(.*?)</span>')
    48. #找到影片相关内容(导演、主演、年份、地区、类别等)
    49. # findBd=re.compile(r'<p class="">(.*)</p>',re.S)
    50. findBd=re.compile(r'<p class="">(.*?)</p>',re.S)
    53. #获取数据,爬取网页   // 获取爬取的网页的数据
    54. def getData(baseurl):
    55.     datalist=[]
    56.     for i in range(0,10):      # 调用获取页面信息的函数·10次
    57.         url=baseurl+str(i*25)
    58.         html= askURL(url)      # 保存获取到的网页源码               执行一次，拿到一页
    59.         print("html的类型是",type(html))
    60.     # 2、逐一解析数据
    61.         soup=BeautifulSoup(html,"html.parser")
    62.         for item in soup.find_all('div',class_="item"):   # 查找符合要求的字符串，形成列表
    63.             #  class_ 表示class的属性值是item ---- class 需要加一个下划线，
    64.             #  print(item)    # 测试：查看电影item的全部信息
    65.             data= []          # 保存一部电影的所有信息
    66.             print(type(item))
    67.             item=str(item)    # 转型，将item转成字符串
    68.             # print(item)
    69.             # break
    70.             #
    71.             # 爬取影片详情的链接                findLink 表示正则表达式的规则，item表示要筛选的字符串
    72.             link=re.findall(findLink,item)[0]         # [0] 表示找到的所有findLink 中的第一个。re库用来通过正则表达式查找指定的字符串
    73.             data.append(link)           # 添加链接
    74.             # print(link)
    76.             # 爬取图片
    77.             imgSrc = re.findall(findImgSrc, item)[0]
    78.             # print(imgSrc)
    79.             data.append(imgSrc)            #添加图片
    81.             titles=re.findall(findTitle,item)      # 片名可能只有一个中文名，也可能有多个名称
    82.             if(len(titles)==2):
    83.                 ctitle=titles[0]                  #添加中文名
    84.                 data.append(ctitle)
    85.                 otitle=titles[1].replace("/","")    #去掉无关的    /   符号
    86.                 data.append(otitle)                 #添加外国名
    87.             else:
    88.                 data.append(titles[0])
    89.                 data.append(' ')                 #外国名留空
    91.             rating=re.findall(findRating,item)[0]
    92.             data.append(rating)                 #添加评分
    94.             judgeNum=re.findall(findJudge,item)[0]
    95.             data.append(judgeNum)               #提交评价人数
    97.             inq=re.findall(findInq,item)
    98.             if len(inq)!=0 :
    99.                 inq=inq[0].replace("。","")     #去掉句号
    100.                 data.append(inq)                   #添加概述  （可能有的没有概述）
    101.             else:
    102.                 data.append(" ")                 #留空
    104.             bd=re.findall(findBd,item)[0]
    105.             bd=re.sub('<br(\s+)?/>(\s+)?'," ",bd)     #去掉<br/>
    106.             bd=re.sub('/'," ",bd)                   #把 /  替换成 " "  空格
    107.             data.append(bd.strip())                 #去掉前后空格
    109.             datalist.append(data)            #把处理好的一部电影信息放入datalist
    110.     print(datalist)
    111.     return datalist
    114. #得到 指定一个URL的网页内容
    115. def askURL(ur):
    116.     head={      #模拟浏览器头部信息，向豆瓣服务器发送消息
    117.          "User-Agent":"Mozilla / 5.0(Windows NT 10.0; Win64;  x64) AppleWebKit / 537.36(KHTML, like  Gecko) Chrome / 89.0 .4389.90  Safari / 537.36 Edg/ 89.0.774.57"
    118.     }
    119.          # 用户代理，表示告诉豆瓣服务器我们是什么类型的机器，浏览器（本质上是告诉浏览器，我们可以接收什么水平的文件内容）
    120.     request=urllib.request.Request(ur,headers=head)          #发送请求
    121.     html=""
    122.     try:
    123.         response=urllib.request.urlopen(request)            #获取响应
    124.         html=response.read().decode("utf-8")                #获取网页内容
    125.       #  print(html)
    126.     except urllib.error.URLError as e:    #访问浏览器异常
    127.         if hasattr(e,"code"):      #  获取错误代码
    128.             print(e.code)
    129.         if hasattr(e,"reason"):    #  获取错误信息
    130.             print(e.reason)
    132.     return html
    134. # 3、保存数据
    135. def saveData(datalist,savepath):
    136.     print("save.....")
    138.     book=xlwt.Workbook(encoding="utf-8",style_compression=0)      #创建workbook对象
    139.     sheet=book.add_sheet("豆瓣电影Top250",cell_overwrite_ok=True)        #创建工作表   cell_overwrite_ok=True 单元是否可以覆盖。覆盖以前的内容
    140.     col=("电影详情链接","图片链接","影片中文名","影片外国名","评分","评价人数","概况","相关信息")
    141.     for i in range(0,8):
    142.         sheet.write(0,i,col[i])   #列名
    143.     for i in range(0,250):
    144.         print("第%d条"%(i+1))      #  i+1  表示从第一行从  1 开始
    145.         data=datalist[i]
    146.         for j in range(0,8):
    147.             sheet.write(i+1,j,data[j])        #数据
    149.     book.save(savepath)           #保存
    155. #保存数据到数据库  （保存之前，先创建数据库）
    156. def saveDataDB(datalist,dbpath):     #需要保存的数据  和需要的数据库
    157.     init_db(dbpath)                     #只用运行一遍
    158.     conn=sqlite3.connect(dbpath)
    159.     cur=conn.cursor()
    161.     for data in datalist:
    162.         for index in range(len(data)):
    163.             if index ==4 or index ==5:
    164.                 continue
    165.                 #写入数据库中的字符串必须是字符串类型，即加上双引号。
    166.             data[index]='"'+data[index]+'"'                 #没拼好一行数据，执行一次sql语句。
    167.         sql='''
    168.             insert into movie250
    169.             (info_link,pic_link,cname,ename,score,rated,instroduction,info)
    170.             values(%s)'''%",".join(data)
    171.             #表示data中的数据用，（逗号相连）
    172.         print(sql)
    173.         cur.execute(sql)
    174.         conn.commit()
    175.     cur.close()
    176.     conn.close()
    178.     # cur.execute(sql)
    179.     # print("存到数据库中的步骤")
    184. #存数据得有一个数据库，需要创建数据库
    185. def init_db(dbpath):                     #创建数据库
    186.     sql='''
    187.     create table movie250(
    188.     id integer primary key autoincrement,
    189.     info_link text,
    190.     pic_link text,
    191.     cname varchar,
    192.     ename varchar,
    193.     score numeric,                 
    194.     rated numeric,                 
    195.     instroduction text ,            
    196.     info text                       
    197.     )
    199.     '''                               #创建数据表
    200.     conn=sqlite3.connect(dbpath)         #文件若存在就连接，不存在就连接
    201.     cursor=conn.cursor()                 #  获取游标
    202.     cursor.execute(sql)
    203.     conn.commit()
    204.     conn.close()
    210. if __name__=="__main__":
    211.     #调用函数
    212.     main()
    213.     # init_db("movietest.db")
    214.     print("爬取完毕！")