03.5.1. 存储数据到json文件

  1. class StudyPipeline(object):
  2.     # 构造方法
  3.     def __init__(self):
  4.         self.f = None  # 定义一个文件描述符属性
  6.     # 下列都是在重写父类的方法：
  7.     # 开始爬虫时，执行一次
  8.     def open_spider(self, spider):
  9.         print('爬虫开始')
  10.         # 打开一个json文件用于接收json方法写入的数据
  11.         self.f = open('douban.json', 'w', encoding='utf-8')
  13.     # 专门处理item对象
  14.     # 因为该方法会被执行调用多次，所以文件的开启和关闭操作写在了另外两个只会各自执行一次的方法中。
  15.     def process_item(self, item, spider):
  16.        # 将jsondumps方法获取的数据赋值给content
  17.        # 为什么将item转换成字典呢，因为这个item返回的值是scrapy特有的存储，python是不识别的
  18.         content = json.dumps(dict(item), ensure_ascii=False)+",\n"
  19.         self.f.write(content)
  20.         # 传递到下一个被执行的管道类，一定要返回item不然就会出错
  21.         return item
  22.     # 关闭爬虫
  23.     def close_spider(self, spider):
  24.         print('爬虫结束')
  25.         self.f.close()

03.5.2. 存储数据到Mysql数据库

  1. # 管道文件中的一个管道类对应的是将数据存储到一种平台
  2. # 爬虫文件提交的item只会给管道文件中第一个被执行的管道类接受
  3. # process_item的return item表示item传递到下一个被执行的管道类
  4. # 将数据存储到数据库
  5. class mysqlPipeline(object):
  6. # pymysql插入数据简单用法
  7. # 1. 连接connect = pymysql.connect("各种配置")
  8. # 2. 创建游标 cursor = connect.cursor()
  9. # 3. 执行sql语句 cursor.execute("sql")
  10. # 4. 提交 connect.commit()
  11. # 5. 关闭游标 cursor.close
  12. # 6. 关闭数据库 connect.close
  13. # 注意：56顺序不可颠倒！
  14.     # 构造方法
  15.     def __init__(self):
  16.         self.conn = None  # 定义一个文件描述符属性
  17.         self.cursor = None
  18.         self.num = 0
  20.     # 下列都是在重写父类的方法：
  21.     # 开始爬虫时，执行一次
  22.     def open_spider(self, spider):
  23.         # 首先初始化构建一个建表sql
  24.         sql = '''
  25.                 create table movie
  26.                 (
  27.                 movie_name varchar(500) ,
  28.                 movie_link varchar(500) ,
  29.                 star varchar(500),
  30.                 quote varchar(500)
  31.                 )
  32.             '''
  33.         # 连接mysql数据库
  34.         # 注：此处的配置建议写在setting配置中
  35.         self.conn = pymysql.connect(
  36.             host='192.168.0.157', # IP地址
  37.             port=3306, user='root', # 端口，账号
  38.             password='123456', # 密码
  39.             database='movie_top250', # 数据库名字
  40.             charset='utf8') # 字符集
  41.         cursor = self.conn.cursor() # 建立游标
  42.         cursor.execute(sql) # execute方法执行sql语句
  43.         self.conn.commit() # commit方法提交一个执行语句（只有插入和更新才需要哦）
  44.         print('爬虫数据库开始')# print在python3里需要加()
  46.     # 专门处理item对象
  47.     # 因为该方法会被执行调用多次，所以文件的开启和关闭操作写在了另外两个只会各自执行一次的方法中。
  48.     def process_item(self, item, spider):
  49.         # 为了方便理解，这里将item返回的数据赋值给下边插入语句使用
  50.         movie_name = item['movie_name']
  51.         movie_link = item['movie_link']
  52.         star = item['star']
  53.         quote = item['quote']
  54.         # 执行sql前要建立一个游标，在上边方法已经连接数据库了所以这里不需要重连
  55.         self.cursor = self.conn.cursor()
  56.         # 进行mysql的异常捕获
  57.         try:
  58.             # 插入数据时候一定要对应好行和列
  59.             # 下方%s格式化字符串可以用format，自行测试
  60.             self.cursor.execute('''
  61.                 insert into movie 
  62.                 values(%s,%s,%s,%s)''', (movie_name, movie_link, star, quote))
  63.             self.conn.commit()  # 提交上方的插入sql
  64.         except Exception as e:
  65.             print(e)
  66.             self.conn.rollback() # 回滚
  67.         return item
  68.     # 关闭游标，关闭数据库连接
  69.     def close_spider(self, spider):
  70.         self.cursor.close()
  71.         self.conn.close()
  72.         print('爬虫数据入库结束')