增量抓取：
    数据库内存储指纹信息，下一次在爬取之前先去数据库进行比对，如果不存在则爬取，反之不抓。

    动态加载数据抓取Ajax：

    1. 右键查看网页源代码没有具体信息
    2. 通过滚动鼠标滑轮或其他动作触发加载，或者页面的局部刷新。

    抓取：
    以某瓣为例进行抓取，因为这个网页是典型利用ajax动态异步加载实现的。
    目标是找出那个地址返回的json数据，找到改地址就能向改地址发请求，获取数据。XHR

    根据实际情况处理查询参数，好在豆瓣的get请求没有涉及到加密。

    以豆瓣电影抓取电影信息为例：
    在consoles table中并没有发现任何数据，网页源代码中也没有，怀疑为异步加载出来的数据，所以分析xhr，滑动页面，发现数据包被依次展示出来，找到数据交互的url地址，找规律。

    利用requests.get().json可以直接自动转化成python的数据结构，按照字典或列表的形式取出值，而不用处理字符串了。

    上代码：

    1. import requests
    2. import json
    3. from fake_useragent import UserAgent
    4. import re
    5. from prettytable import PrettyTable
    6. import pymysql
    8. class Spider(object):
    9.     def __init__(self):
    10.         self.base_url = 'https://movie.douban.com/j/chart/top_list?' \
    11.                    'type={}&interval_id=100%3A90&action=&start={}&limit={}'
    12.         self.count_url = 'https://movie.douban.com/j/chart/top_list_count?' \
    13.                          'type={}&interval_id=100%3A90'
    14.         self.category_url = 'https://movie.douban.com/chart'
    15.         self.headers = {'User-Agent': UserAgent().random}
    17.         self.database = pymysql.connect(
    18.             host='localhost', user='root', password='zza20020321', charset='utf8',
    19.             database='doubandb'
    20.         )
    21.         self.cursor = self.database.cursor()
    23.     def get_category(self):
    24.         html = requests.get(
    25.             url=self.category_url,
    26.             headers=self.headers
    27.         ).text
    28.         pattern = re.compile('.*?<span><a href="/typerank.*?type_na'
    29.                              'me=(.*?)&type=(.*?)&interval_id', re.S)
    30.         re_list = pattern.findall(html)  # [('', ''), ('', ''), ....]
    31.         L = []
    32.         L2 = []
    33.         item = {}
    34.         quary_string = 'select count(0) from type where type_name = %s'
    35.         for name_id in re_list:
    36.             item[name_id[0]] = name_id[1]
    37.             L2.append(name_id[0])
    38.             # L2 和item中一定要存储当前的信息以便于向顾客展示选择什么信息来输入输出
    39.             if self.if_exists(quary_string, name_id[0])[0] == 0:
    40.                 t = (
    41.                     name_id[1], name_id[0]
    42.                 )
    43.                 L.append(t)
    44.             else:
    45.                 pass
    47.         # 保存到数据库
    48.         sql_string = 'insert into type values(%s, %s)'
    49.         self.save_to_sql(sql_string, L)
    51.         return L2, item
    53.     def get_count(self, type):
    54.         url = self.count_url.format(type)
    55.         count = requests.get(
    56.             url=url,
    57.             headers=self.headers
    58.         ).json()['total']
    60.         return count
    62.     def if_exists(self, sql_string, name):
    64.         db = self.database
    66.         cursor = self.cursor
    68.         cursor.execute(sql_string, name)
    70.         flag = cursor.fetchone()
    72.         db.commit()
    74.         return flag
    76.     def save_to_sql(self, sql_string, ins_data):
    77.         self.cursor.executemany(sql_string, ins_data)
    78.         self.database.commit()
    80.     def parse_html(self, base_url):
    81.         req = requests.get(
    82.             headers=self.headers,
    83.             url=base_url
    84.         )
    85.         py_form_data = req.json()
    87.         L = []
    89.         L2 = []
    91.         sql_string = 'select count(0) from film_info where title = %s'
    93.         film_info = PrettyTable(['电影名', '豆瓣排名', '上映日期', '豆瓣评分'])
    95.         for py_data in py_form_data:
    96.             flag = self.if_exists(sql_string, py_data['title'])[0]
    97.             film_info.add_row([py_data['title'], py_data['rank'],
    98.                                py_data['release_date'], py_data['score']])
    99.             if flag == 0:
    100.                 t = (
    101.                     py_data['title'], py_data['rank'],
    102.                     py_data['release_date'], py_data['score']
    103.                 )
    104.                 L.append(t)
    105.             else:
    106.                 pass
    108.         print('电影信息如下，正在保存数据库~~~~~')
    109.         print(film_info)
    110.         # 保存到数据库中
    111.         sql_string = 'insert into film_info values(%s, %s, %s, %s)'
    112.         self.save_to_sql(sql_string, L)
    113.         print('数据库信息保存成功~~~~')
    115.     def show_category(self):
    116.         lists, item = self.get_category()
    117.         table = PrettyTable(['1', '2', '3', '4'])
    118.         table.add_row(lists[0:4])
    119.         table.add_row(lists[5:9])
    120.         table.add_row(lists[10:14])
    121.         table.add_row(lists[15:19])
    122.         table.add_row(lists[20:24])
    123.         table.add_row(lists[25:29])
    125.         print(table)
    127.     def run(self):
    128.         lists, item = self.get_category()
    130.         self.show_category()    # print the table about movie category
    132.         types = input('请输入您要查看的电影类型：')
    134.         start = input('从第几个开始？')
    135.         limit = input('展示几个？')
    137.         film_id = item[types]
    139.         count = self.get_count(film_id)
    141.         real_url = self.base_url.format(film_id, start, limit)
    143.         self.parse_html(real_url)
    146. if __name__ == '__main__':
    147.     spider = Spider()
    148.     spider.run()