JSON文件

JSON(JavaScript Object Notation，JS对象标记)是一种轻量级的数据交换格式。
JSON支持的数据格式：对象（字典）、数组（列表）、字符串类型（字符串必须使用双引号，不能使用单引号）、整形、浮点型、布尔型、null型。多个数据之间使用逗号分隔，json本质上就是一个字符串。

Python对象转json字符串

  1. import json
  4. books = [
  5.     {
  6.         'name': "水浒传",
  7.         'prices': 56
  8.     },
  9.     {
  10.         'name': "三国演义",
  11.         'prices': 79
  12.     }
  13. ]
  14. # dumps将Python对象转化为json字符串
  15. result = json.dumps(books, ensure_ascii=False)
  16. print(result)
  17. # dump直接将Python对象转化为json字符串写入文件中
  18. with open('books.json', 'w', encoding='utf-8') as f:
  19.     json.dump(books, f, ensure_ascii=False)

如上所示，使用dumps()和dump()方法都可以完成转换，其中ensure_ascii参数默认为True，默认转换后只能存储ascii格式的，不能存储中文，我们可以将其设置为False。

json字符串转Python对象

  1. import json
  3. json_str = '[{"name": "水浒传", "prices": 56}, {"name": "三国演义", "prices": 79}]'
  5. # loads将json字符串转化为Python对象
  6. result = json.loads(json_str)
  7. print(result, type(result))
  8. # load将文件中的json字符串转化为Python对象
  9. with open('books.json', 'r', encoding='utf-8') as f:
  10.     res = json.load(f)
  11.     print(res, type(res))

CSV文件

CSV文件的读取

  1. import csv
  3. # 按行读取csv文件，每一行返回一个列表
  4. with open('快代理-ip.csv', 'r', encoding='utf-8') as f:
  5.     result = csv.reader(f)
  6.     for i in result:
  7.         print(i)
  9. # 按字典的形式读取，这种方法有索引，可以通过索引获取值
  10. with open('快代理-ip.csv', 'r', encoding='utf-8') as f:
  11.     res = csv.DictReader(f)
  12.     for i in res:
  13.         print(i['IP'])

CSV文件的写入

  1. import csv
  3. headers = ['name', 'age']
  4. stu_list = [
  5.     ['wanger', 10],
  6.     ['lisi', 15],
  7.     ['lixiang', 20]
  8. ]
  9. stu_dict = [
  10.     {'name': 'wanger', 'age': 10},
  11.     {'name': 'lisi', 'age': 15},
  12.     {'name': 'lixiang', 'age': 20},
  13. ]
  15. # writer就是一行一行的写入，指定newline=''去掉多余的换行
  16. with open('students.csv', 'w', encoding='utf-8', newline='') as f:
  17.     writer = csv.writer(f)
  18.     writer.writerow(headers)  # 先写入表头数据
  19.     writer.writerows(stu_list)  # 学生信息多行写入
  21. # DictWriter按字典形式写入
  22. with open('students.csv', 'w', encoding='utf-8', newline='') as f:
  23.     # 除了传入要写入的文件，还有表头信息
  24.     writer = csv.DictWriter(f, headers)
  25.     # 但以上表头数据仍未写入，需要调用以下方法才能正式写入表头数据
  26.     writer.writeheader()
  27.     writer.writerows(stu_dict)

Excel文件

安装相关库

  1. pip install xlrd  # 读
  2. pip install xlwt  # 写

sheet相关操作

  1. import xlrd
  3. workbook = xlrd.open_workbook("学生表.xls")
  5. # 获取所有sheet名字
  6. print(workbook.sheet_names())
  8. # 根据索引获取指定的sheet对象
  9. sheet1 = workbook.sheet_by_index(0)
  10. print(sheet1.name)
  12. # 根据名字获取指定的sheel对象
  13. sheet2 = workbook.sheet_by_name('1班')
  14. print(sheet2.name)
  16. # 获取所有的sheet对象
  17. sheet_list = workbook.sheets()
  18. for i in sheet_list:
  19.     print(i.name)
  21. # 获取指定sheet的行数和列数
  22. sheet3 = workbook.sheet_by_index(0)
  23. print("行数：{}  列数：{}".format(sheet3.nrows, sheet3.ncols))

Cell相关操作

这里演示的文件数据如下图：
学生表数据.png

  1. import xlrd
  3. workbook = xlrd.open_workbook("学生表.xls")
  4. sheet = workbook.sheet_by_index(0)
  6. # 获取指定行和列的cell对象
  7. cell1 = sheet.cell(0, 0)
  8. print(cell1.value)  # 输出：姓名
  10. # 获取指定行的某几列对象
  11. cell2_list = sheet.row_slice(1, 0, 3)
  12. for i in cell2_list:
  13.     print(i.value)  # 输出：王二 10.0
  15. # 获取指定列的某几行对象
  16. cell3_list = sheet.col_slice(0, 0, 6)
  17. for i in cell3_list:
  18.     print(i.value)  # 输出：姓名 王二 李四 张三 刘五 王二
  20. # 获取指定行列的值
  21. cell4 = sheet.cell_value(1, 0)
  22. print(cell4)  # 输出：王二
  24. # 获取指定行某几列的值
  25. cell5 = sheet.row_values(0, 0, 3)
  26. for i in cell5:
  27.     print(i)  # 输出：姓名 年龄
  29. # 获取指定列某几行的值
  30. cell6 = sheet.col_values(0, 0, 6)
  31. for i in cell6:
  32.     print(i)  # 输出：姓名 王二 李四 张三 刘五 王二

Cell的数据类型

类型 描述 值
xlrd.XL_CELL_EMPTY 空白数据类型 0
xlrd.XL_CELL_TEXT 文本类型 1
xlrd.XL_CELL_NUMBER 数值类型 2
xlrd.XL_CELL_DATE 日期时间类型 3
xlrd.XL_CELL_BOOLEAN 布尔类型 4

当获取到具体的某个cell后，可以通过cell.ctype来获得这个单元格的类型

写入Excel文件

  1. import xlwt
  3. workbook = xlwt.Workbook()
  4. sheet = workbook.add_sheet('sheet1')
  6. # 写入表头数据
  7. headers = ['姓名', '年龄']
  8. for index, header in enumerate(headers):
  9.     sheet.write(0, index, header)
  11. # 写入第一列
  12. names = ['张三', '王五']
  13. for index, name in enumerate(names):
  14.     sheet.write(index+1, 0, name)
  16. # 写入年龄
  17. sheet.write(1, 1, 10)
  18. sheet.write(2, 1, 15)
  20. # 保存
  21. workbook.save("excel-write.xls")
  1. **如果想要在原来workbook对象上添加新的cell，那么需要调用put_cell来添加。如：sheet.put_cell(row, col, Cell的数据类型, data, None)**<br />    由于原有文件的读取使用xlrd模块，这个模块只能读，无法写入数据，因此调用put_cell()后，我们想保存的数据其实在内存上，没有保存到外存的文件中。如果想将新表的数据保存成文件，那就用xlwt模块新建一个表，将内存中的数据拷贝到新表中进行保存。

MySQL数据库

安装MySQL数据库

  1. # 安装
  2. yay -S mysql
  3. # 初始化mysql，记住输出的root密码
  4. sudo mysqld --initialize --user=mysql --basedir=/usr --datadir=/var/lib/mysql
  5. # 启动mysql服务
  6. sudo systemctl start mysqld.service
  7. # 查看mysql状态
  8. systemctl status mysqld.service
  9. # 登录mysql服务，输入默认密码即可
  10. mysql -u root -p
  11. # 修改默认密码
  12. ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'yourpassword';

Python连接到MySQL数据库

首先需要安装一个模块

  1. pip install pymysql

简单的连接例子如下：

  1. import pymysql
  3. # 使用pymysql.connect方法连接数据库
  4. db = pymysql.connect(host='localhost', port=3306, user='root', password='password', database='crawler')
  5. # 如果要操作具体的数据库，还需要获取db上的cursor对象
  6. cursor = db.cursor()
  7. # 使用cursor来执行sql语句，查询temp表中的所有内容
  8. cursor.execute('select * from temp')
  9. # 返回查询结果的第一行
  10. result = cursor.fetchone()
  11. print(result)

插入操作

  1. import pymysql
  3. db = pymysql.connect(host='localhost', port=3306, user='root', password='password', database='crawler')
  4. cursor = db.cursor()
  6. # 插入一条数据的sql语句
  7. sql = "insert into temp(id,title,context) VALUES (null,'one','第一次插入')"
  8. # 执行sql语句
  9. cursor.execute(sql)
  10. # 提交我们的操作，数据库中的数据会因为我们的操作而发生改变，就需要进行提交
  11. db.commit()
  12. # 关闭数据库
  13. db.close()
  15. # -----------------------------------------------------
  16. # -------如果我们的插入的数据需要不断变化，不论什么类型，都用%s进行占位，如下：
  17. sql = "insert into temp(id,title,context) VALUES (null,%s,%s)"
  18. cursor.execute(sql, ('变量插入', '什么数据都用%s来代替'))
  19. # ------------------------------------------------------

查询操作

  1. import pymysql
  3. db = pymysql.connect(host='localhost', port=3306, user='root', password='password', database='crawler')
  4. cursor = db.cursor()
  6. # 查询语句
  7. sql = "select id, title from temp where id>3"
  8. cursor.execute(sql)
  10. # 每次获取一条数据
  11. result1 = cursor.fetchone()
  12. result2 = cursor.fetchone()
  13. print(result1, result2)
  15. # 接收全部的返回结果
  16. result = cursor.fetchall()
  17. print(result)
  19. # 可以获取指定条数的数据，如果指定的大小超过结果的数量，也会返回所有的结果
  20. result = cursor.fetchmany(3)
  21. print(result)
  23. # 关闭数据库
  24. db.close()

删除操作

  1. import pymysql
  3. db = pymysql.connect(host='localhost', port=3306, user='root', password='password', database='crawler')
  4. cursor = db.cursor()
  6. # 删除语句
  7. sql = "delete from temp where title='xxx'"
  8. cursor.execute(sql)
  9. db.commit()
  11. # 关闭数据库
  12. db.close()

更新操作

  1. import pymysql
  3. # 如果存在编码问题，可以在连接时通过charset来指定编码方式
  4. db = pymysql.connect(host='localhost', port=3306, user='root', password='password', database='crawler', charset='utf8')
  5. cursor = db.cursor()
  7. # 更新语句
  8. sql = "update temp set title='更新后的title' where id=1"
  9. cursor.execute(sql)
  10. db.commit()
  12. # 关闭数据库
  13. db.close()