字符编码与文件操作.pdf

补充列表生成式

  2. L=[]
  3. for i in range(1,10):
  4.     print(i)
  5.     L.append(i*3)
  6. print(L)
  8. print('======'      )
  10. # [i获得的for循环的数据， for i获得range in range 数据]
  12. L=[i*3 for i in range(1,10)]
  13. print(L)
  17. L=[]
  18. for i in range(1,10):
  19.     if i%2==0:
  20.         L.append(i*3)
  21. print(L)
  23. print('======'      )
  25. # [i获得的for循环的数据， for i获得range in range 数据]
  27. L=[i*3 for i in range(1,10) if i%2==0]
  28. print(L)
  30. #变成字符串的数字
  31. ts_file=['2.ts','3.ts','1.ts','4.ts']
  32. print(ts_file)
  33. s1=[i.replace('.ts','') for i in ts_file]
  34. print(s1)
  35. s2=[int(i.replace('.ts','')) for i in ts_file]
  36. print(s2)
  37. s3=sorted([int(i.replace('.ts','')) for i in ts_file])
  38. print(s3)
  39. #变回字符串类型的数字
  40. s4=[str(j) for j in sorted([int(i.replace('.ts','')) for i in ts_file])]
  41. print(s4)
  42. #最后再加上.ts
  43. s5=[str(j)+'.ts' for j in sorted([int(i.replace('.ts','')) for i in ts_file])]
  44. print(s5)

补充字典生成式

  1. for k,v in {'name':'大海','age':18}.items():
  2.     print(k,v)
  3. #遍历键值对
  4. dict1={k:v for k,v in {'name':'大海','age':18}.items()}
  5. print(dict1)
  6. # 修改key值，因为value值有数字，故不能加字符
  7. dict1={k+'sdf' :v for k,v in {'name':'大海','age':18}.items()}
  8. print(dict1)
  9. #还可以加上条件判断
  10. dic={k+'dfsf8899':v for k,v in {'name':'大海','age':18}.items() if k=='name'}
  11. print(dic)

补充lambda表达式

  1. salaries={
  2.     'xialuo':3000000,
  3.     'xishi':30000,
  4.     'dahai':3000
  5. }
  6. '''
  7. 我们要比较的是薪资，求薪资最高的那个人名：即比较的是value，但取结果 的是key
  8. 默认比较的是key值，返回的也是key
  9. print(max(salaries))
  10. 这个函数需要字典的value，这样才会比较value
  12. '''
  13. def func(name):
  14.     return salaries[name]
  15. #比较的func的返回值  也就是salaries的value值，但是还是返回key，max的返回值是key
  16. print(max(salaries,key=func))
  18. print(max(salaries,key=lambda n:salaries[n]))
  20. s=[{'name':'dahai','age':19},{'age':234,'name':'fan'},{'name':'xiao','age':243}]
  22. for i in s:
  23.     print(i)
  25. li=sorted(s,key=lambda e:e['age'],reverse=True)
  26. print(li)

1.字符编码

  1. '''
  2. 一 什么是字符编码?
  3. 计算机要想工作必须通电,即用‘电’驱使计算机干活,也就是说‘电’的特性决定了计算机的特性。
  4. 电的特性即高低电平(人类从逻辑上将二进制数1对应高电平,二进制数0对应低电平)
  5.     简单来说就是一个灯泡亮一个灯泡不亮表示
  6.         0代表灯泡不亮 (低电平)
  7.         1代表灯泡亮  （高电平）
  8.         那么2个灯泡可以表示的信息就有   00 01 10 11 4种 2的二次方
  9.         那么3个灯泡可以表示的信息就有   000 001  100 010  110 101 011 111 8种  二的三次方
  10.     结论：计算机只认识数字(二进制0101) 其他的数字10进制是通过二进制转换过来的
  11.          很明显，我们平时在使用计算机时，用的都是人类能读懂的字符
  12.         （用高级语言python编程的结果也无非是在文件内写了一堆字符）
  13.         如何能让计算机读懂人类的字符？
  14.         必须经过一个过程：
  15.         字符--------（翻译过程）------->数字
  16.         这个过程实际就是一个字符如何对应一个特定数字的标准，这个标准称之为字符编码
  17.     字符编码的发展史与分类？
  18.         计算机由美国人发明。
  19.             英文编码
  20.             ASCII   ascii用1个字节（8位二进制）代表一个二进制字符   01010100
  21.             8bit= 1Bytes
  22.             1024Bytes=1KB
  23.             1024KB=1MB
  24.             1024MB=1GB
  25.             1024GB=1TB
  26.             1024TB=1PB
  27.             最早的字符编码为ASCII，只规定了英文字母数字和一些特殊字符与数字的对应关系。
  28.             一个字节  01010100
  29.             所以，ASCII码最多只能表示 256 个符号。即：2**8 = 256，
  30.             当然我们编程语言都用英文(python,java)没问题，ASCII够用，但是在处理数据时，
  31.                     不同的国家有不同的语言，日本人会在自己的程序中加入日文，中国人会加入中文。
  32.                     比如print('中文') python3自动设置好的  之前python2需要设置
  33.                     ASCII无法表示中文
  34.                         而要表示中文，单拿一个字节表表示一个汉子，是不可能的
  35.                         中国文化博大精深
  36.                         是不可能表达完的(连小学生都认识两千多个汉字)，
  37.                         多个字节去表示
  38.                         位数越多，代表的变化就多，这样，就可以尽可能多的表达出不同的汉字
  39.             gb2312
  40.                所以中国人规定了自己的标准gb2312编码，
  41.                 规定了包含中文在内的字符－>数字的对应关系。
  42.             GBK的诞生   3个字节  01010100 01010100 01010100  2**24
  43.                 GB 2312的出现，基本满足了汉字的计算机处理需要，
  44.                 但对于人名、古汉语等方面出现的罕用字，GB 2312不能处理，
  45.                 这导致了后来GBK汉字字符集的出现。
  46.             Shift_JIS
  47.                 日本人规定了自己的Shift_JIS编码
  48.             Euc-kr
  49.                 韩国人规定了自己的Euc-kr编码
  50.                 （另外，韩国人说，
  51.                 要求世界统一用韩国编码，但世界人民没有搭理他们）
  52.                 原因 ：政治
  53.             unicode的诞生 它是在内存里面的
  54.                 unicode常用2个字节（16位二进制）代表一个字符，生僻字需要用4个字节（32位二进制）
  55.                 这时候问题出现了，精通18国语言的 某某大海 谦虚的用8国语言写了一篇文档，
  56.                 那么这一篇文档，按照哪国的标准，都会出现乱码（因为此刻的各种标准都只是
  57.                 规定了自己国家的文字在内的字符跟数字的对应关系，如果单纯采用一种国家的编码格式，
  58.                 那么其余国家语言的文字在解析时就会出现乱码）
  59.                 所以迫切需要一个世界的标准（能包含全世界的语言）
  60.                 于是unicode应运而生（韩国人表示不服，然后没有什么卵用）
  61.                     字母x，用unicode表示二进制0000 0000 0111 1000，所以unicode兼容ascii，也兼容万国
  62.                     这时候乱码问题消失了，所有的文档我们都使用但是新问题出现了，如果我们的文档通篇都是英文，
  63.                     你用unicode会比ascii耗费多一倍的空间，在存储和传输上十分的低效
  64.             UTF-8的诞生  它是在硬盘里面的
  65.                 本着节约的精神 又出现了把Unicode编码转化为“可变长编码”的UTF-8编码。
  66.                 UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节，常用的英文字母被编码成1个字节，
  67.                     汉字通常是3个字节，只有很生僻的字符才会被编码成4-6个字节。
  68.                     字符     ASCII           Unicode                        UTF-8
  69.                     A      01000001         00000000 01000001                 01000001
  70.                     中      没有              11100100 01001110 00101101         11100100 10111000 10101101
  71.                     简单来说英文字母 UTF-8 使用的和 ASCII 对应关系 一样
  72.                                 而中文 UTF-8 使用 Unicode 对应关系 一样
  73.             unicode和UTF-8的关系
  74.                 1、在存入磁盘时，需要将unicode转成一种更为精准的格式，
  75.                 utf-8:全称Unicode Transformation Format，将数据量控制到最精简
  76.                 2、在读入内存时，需要将utf-8转成unicode
  77.                 所以我们需要明确：内存中用unicode是为了兼容万国软件，
  78.                 即便是硬盘中有各国编码编写的软件，unicode也有相对应的映射关系，
  79.                 但在现在的开发中，程序员普遍使用utf-8编码了，
  80.                 估计在将来的某一天等所有老的软件都淘汰掉了情况下，
  81.                 就可以变成：内存unicode<->硬盘utf-8的形式了。
  88. '''

2.文件操作

  1. # @Author : 大海
  2. # @File : 2.文件操作.py
  3. '''
  4. 1 什么是文件
  5.     文件是操作系统为用户/应用程序提供的一种操作硬盘的抽象单位
  6. 2 为何要用文件
  7.     用户/应用程序对文件的读写操作会由操作系统转换成具体的硬盘操作
  8.     所以用户/应用程序可以通过简单的读\写文件来间接地控制复杂的硬盘的存取操作
  9.     实现将内存中的数据永久保存到硬盘中
  10.     内存
  11.         user=input('>>>>: ') #user="大海"
  12. 3 如何用文件
  13.     文件操作的基本步骤:
  14.         f=open(...) #打开文件,拿到一个文件对象f,f就相当于一个遥控器,可以向操作系统发送指令
  15.         f.read() # 读写文件,向操作系统发送读写文件指令
  16.         f.close() # 关闭文件,回收操作系统的资源
  17.     上下文管理:
  18.         with open(...) as f:
  19.             pass
  20. '''
  22. # 绝对路径
  23. # f = open(r'D:\python代码A8\day7字符编码和文件操作\a.txt',encoding='utf-8')
  24. # f1=f.read()
  25. # print(f1)
  26. # f.close()
  29. 相对路径/当前路径 .
  30. # f = open('./a.txt',encoding='utf-8')
  31. # f1=f.read()
  32. # print(f1)
  33. # f.close()
  35. 当前路径省略./    最常用
  36. # f = open('a.txt',encoding='utf-8')
  37. # f1=f.read()
  38. # print(f1)
  39. # f.close()
  41. 上一级
  42. # f = open('../day7字符编码和文件操作/a.txt',encoding='utf-8')
  43. # f1=f.read()
  44. # print(f1)
  45. # f.close()
  48. 上下文管理:
  49. #         with open(...) as f:
  50. #             pass
  52. # with open('a.txt',encoding='utf-8') as f:
  53. #     print(f.read())

3.文件操作的常用模式

  1. # @Author : 大海
  2. # @File : 3.文件操作的常用模式.py
  3. '''
  4. 一 文件的打开模式
  5.     r: 只读模式(默认的)
  6.     w: 只写模式
  7.     a: 只追加写模式
  8. 二 控制读写文件单位的方式(必须与r\w\a连用)
  9.     t : 文本模式(默认的),一定要指定encoding参数
  10.         优点: 操作系统会将硬盘中二进制数字解码成unicode然后返回
  11.         强调:只针对文本文件有效
  12.     b: 二进制模式,一定不能指定encoding参数
  13.         优点: 不用指定字符编码，视频，图片文件
  14. '''
  15. #一 rt: 只读模式(默认的)
  16. # 1 当文件不存时,会报错
  17. # 2 当文件存在时,文件指针指向文件的开头
  18. # with open('a.txt',mode='rt',encoding='utf-8') as f:
  19. #     # res1 =f.read()
  20. #     # print('1>>>',res1)
  21. #     # # 第一次读完了
  22. #     # res2 = f.read()
  23. #     # print('2>>>', res2)
  24. #     # # 判断rt模式可读
  25. #     # print(f.readable())
  26. #     # # 判断rt模式不可写
  27. #     # print(f.writable())
  28. #     # read 文件太大不好
  29. #     # print(f.readline(),end='')
  30. #     # # 文件里面有换行符 print自带换行符\n
  31. #     # print(f.readline())
  32. #     # 一行行遍历
  33. #     # for line in f:
  34. #     #     print(line,end='')
  35. #     # 文件每一行数据添加到列表里面去
  36. #     # L = []
  37. #     # for line in f:
  38. #     #     L.append(line)
  39. #     # print(L)
  40. #     # 一行代码搞定
  41. #     print(f.readlines())
  43. # 二 wt: 只写模式
  44. # 1 当文件不存时,新建一个空文档(无则创建)
  45. # with open('b.txt',mode='wt',encoding='utf-8')as f:
  46. #     pass
  47. # 2 当文件存在时,清空文件内容，文件指针跑到文件的开头（有则清空）
  48. # with open('b.txt',mode='wt',encoding='utf-8')as f:
  49.     # pass
  50.     # 不能读
  51.     # print(f.readable())
  52.     # # 可以写
  53.     # print(f.writable())
  54.     # f.write('大\n')
  55.     # f.write('大\n')
  56.     # f.write('大\n')
  58.     # 一次性写多行
  59.     # f.write('111\n222\n333\n')
  60.     # 把列表内容一行行写入
  61.     # info = ['xiaohai\n', 'xiaohai\n', 'xiaohai\n']
  62.     # # for line in info:
  63.     # #     f.write(line)
  64.     # # 一行代码搞定
  65.     # # writelines(列表)
  66.     # f.writelines(info)
  72. # 三 at: 只追加写模式
  73. # 1 当文件不存时,新建一个空文档，文件指针跑到文件的末尾(开头就是末尾)
  74. # with open('c.txt',mode='at',encoding='utf-8')as f:
  75. #     pass
  76. # 2 当文件存在时,文件指针跑到文件的末尾
  77. # with open('c.txt',mode='at',encoding='utf-8')as f:
  78. # # # # # 不能读
  79. # #     print(f.readable())
  80. # # # #     # 能写
  81. # #     print(f.writable())
  82. #     f.write('da\n')
  83. #     f.write('da\n')
  84. #     f.write('da\n')
  85. # with open('c.txt',mode='at',encoding='utf-8')as f:
  86. # # # # # 不能读
  87. # #     print(f.readable())
  88. # # # #     # 能写
  89. # #     print(f.writable())
  90. #     f.write('da\n')
  91. #     f.write('da\n')
  92. #     f.write('da\n')
  94. # w模式和a模式的区别
  95. # w模式
  96. # 在文件打开不关闭的情况下，连续的写入，
  97. # 下一次写入一定是基于上一次写入指针的位置而继续的
  98. # a模式关闭了下次打开是在文件末尾写，所以不会覆盖之前的内容
  102. #只能对文本文件操作 t 模式局限性
  103. # 二进制文件 图片 视频
  104. # 读  rb
  105. # with open('1.png',mode='rb')as f:
  106. #     data = f.read()
  107. #     # print(data)
  108. #     print(type(data))
  109. #
  110. # # 写  wb
  111. # with open('2.png',mode='wb')as f:
  112. #     f.write(data)
  114. # 用b模式,也可以对文本文件操作，但是要解码
  115. # decode   二进制解码成字符
  116. # encode   字符编码成二进制
  117. #解码   读的时候转换成字符
  118. # with open('b模式.txt',mode='rb')as f:
  119. #     data = f.read()
  120. #     # print(data)
  121. #     # decode   二进制解码成字符
  122. #     print(data.decode('utf-8'))
  123. #编码  写的时候把字符转换成二进制写入
  124. with open('wb模式.txt',mode='wb')as f:
  125.     f.write('大海\n'.encode('utf-8'))
  126.     f.write('大海\n'.encode('utf-8'))
  127.     f.write('大海\n'.encode('utf-8'))

4.可读可写模式

  1. 可读可写:（了解）
  2. r+t
  4.  w+t
  6. a+t
  7.  r + t
  8. # 1 当文件不存时,会报错
  9. # 2 当文件存在时,文件指针指向文件的开头
  10. # 3 多了个末尾写
  11. # with open('可读可写r+t模式.txt',mode='r+t',encoding='utf-8')as f:
  12. #     # print(f.readable())
  13. #     # print(f.writable())
  14. #     msg = f.readline()
  15. #     print(msg)
  16. #     f.write('aaaaaaaaaaaaaaaaaa')
  18. # w+t
  19. # 1 当文件不存时,新建一个空文档(无则创建)
  20. # 2 当文件存在时,清空文件内容，文件指针跑到文件的开头（有则清空）
  21. # 3 可以读
  22. # with open('可读可写w+t模式.txt',mode='w+t',encoding='utf-8')as f:
  23. #     # print(f.readable())
  24. #     # print(f.writable())
  25. #     f.write('aaaaaaaaaaaaa\n')
  26. #     f.write('bbbbbbbbbbbbb\n')
  27. #     # 根据指针读
  28. #     #     #     #     # 指针移动seek（移动的字节数,开头开始 设置0）
  29. #     #     #     #     #     # 从开头开始移动0
  30. #     # 读不到
  31. #     print(f.readline())
  32. #     f.seek(0,0)
  33. #     print(f.readline())
  34. #     #     还是在末尾写
  35. #     f.write('cccccccccccc\n')
  38. # a+t# 第二次打开时候也是在末尾写
  39. # with open('可读可写a+t模式.txt',mode='a+t',encoding='utf-8')as f:
  40. #     # print(f.readable())
  41. #     # print(f.writable())
  42. #     f.write('aaaaaaaaaaaa\n')
  43. #     f.write('bbbbbbbbbbbb\n')
  44. #     # 根据指针读
  45. #     #     #     #     #     # 指针移动seek（移动的字节数,开头开始 设置0）
  46. #     #     #     #     #     #     # 从开头开始移动0
  47. #     #     # 读不到
  48. #     print(f.readline())
  49. #     f.seek(0,0)
  50. #     print(f.readline())
  51. #     #     #     还是在末尾写
  52. #     f.write('cccccccccccc\n')
  55. # 图片和视频用不上
  56. # r+b w+b a+b 规律和 r+t  w+t   a+t
  57. # 乱掉 文件打不开

5.文件指针

  1. # @Author : 大海
  2. # @File : 5.文件指针.py
  3.  f.seek *****
  4. # 文件内指针移动,只有t模式下的read(n),n代表的字符的个数
  5. # b模式文件内指针的移动都是以字节为单位
  6. # t模式  read(n)字符的个数
  7. # with open('指针移动.txt',mode='rt',encoding='utf-8')as f:
  8. #     print(f.read(1))
  9. #     print(f.read(1))
  10. #     print(f.read(1))
  11. #     print(f.read(1))
  12. #     print(f.read(1))
  13. # b模式  read(n)# b模式文件内指针的移动都是以字节为单位
  14. # with open('指针移动.txt',mode='rb')as f:
  15. #     # print(type(f.read(1)))
  16. #     print(f.read(1).decode('utf-8'))
  17. #     print(f.read(1).decode('utf-8'))
  18. #     # 三分之一个汉字
  19. #     print(f.read(3).decode('utf-8'))
  20. #     print(f.read(3).decode('utf-8'))
  21. #     print(f.read(3).decode('utf-8'))
  23. # 指针操作
  24. # f.seek(offset,whence)有两个参数:
  25. # offset: 代表控制指针移动的
  26. # whence: 代表参照什么位置进行移动字节数
  27. #        whence = 0: 参照文件开头(默认的),特殊,可以在t和b模式下使用
  28. #        whence = 1: 参照当前所在的位置,必须在b模式下用
  29. #        whence = 2: 参照文件末尾,必须在b模式下用
  30. # t模式 移动的字节数算 读的按照字符算
  32. # with open('seek.txt',mode='rt',encoding='utf-8')as f:
  33. #     f.seek(2,0)
  34. #     print(f.read(1))
  35. # b模式 移动的字节数 读的也是字节数
  36. # with open('seek.txt',mode='rb')as f:
  37. #     f.seek(2,0)
  38. #     print(f.read(3).decode('utf-8'))
  40.         whence = 1: 参照当前所在的位置,必须在b模式下用
  41.  with open('seek.txt',mode='rb')as f:
  42.      msg = f.read(5)
  43.      print(msg.decode('utf-8'))
  44.      # 查看到当前指针的位置
  45.      # print(f.tell())
  46.      # 当前指针的位置 还移动了3个字节
  47.      f.seek(3,1)
  48.      print(f.read(3).decode('utf-8'))
  49.         whence = 2: 参照文件末尾,必须在b模式下用
  50. with open('seek.txt',mode='rb')as f:
  51.     f.seek(0,2)
  52.     print(f.tell())
  53.     f.seek(-3,2)
  54.     print(f.read(3).decode('utf-8'))

6.文件的修改方式

  1.  @Author : 大海
  2.  @File : 6.文件的修改方式.py
  3.  修改文件的方式一:
  4.  1 将文件内容由硬盘全部读入内存
  5.  2 在内存中完成修改
  6.  3 将内存中修改后的结果覆盖写回硬盘
  7.  with open('文件修改.txt',mode='rt',encoding='utf-8')as f:
  8.      all_data=f.read()
  9.      print(all_data)
  10.  with open('文件修改.txt',mode='wt',encoding='utf-8')as f:
  11.      f.write(all_data.replace('红黄蓝','大海'))
  12.  修改文件的方式二:
  13.  1 以读的方式打开源文件,以写的方式打开一个临时文件
  14.  2 从源文件中每读一样内容修改完毕后写入临时文件,直到源文件读取完毕
  15.  3 删掉源文件,将临时文件重命名为源文件名
  16. import os
  17. with open('文件修改二.txt',mode='rt',encoding='utf-8')as read_f,open('临时文件.txt',mode='wt',encoding='utf-8')as write_f:
  18.     for line in read_f:
  19.         write_f.write(line.replace('大海大帅比','夏洛大帅比'))
  20.  文件修改二删除
  21. os.remove('文件修改二.txt')
  22.  临时文件.txt 改成 文件修改二
  23. os.rename('临时文件.txt','文件修改二.txt')
  25.  方式一:
  26.  优点: 在文件修改的过程中硬盘上始终一份数据
  27.  缺点: 占用内存过多,不适用于大文件
  30.  方式二:
  31.  优点: 同一时刻在内存中只存在源文件的一行内容,不会过多地占用内存
  32.  缺点: 在文件修改的过程中会出现源文件与临时文件共存,硬盘上同一时刻会有两份数据,即在修改的过程中会过多的占用硬盘,

7.如何避免乱码

  1.  天生我才必有用
  2.  日语
  3.  with open('test.txt',mode='wt',encoding='shift_jis')as f1:
  4.      f1.write('うまれつき生まれつきわたくし私こそかならず必ずやく役にたつ立つ')
  5.  with open('test.txt',mode='rt',encoding='shift_jis')as f1:
  6.      a= f1.read()
  7.      print(a)
  10.  ！！！总结非常重要的两点！！！
  11. 1、保证不乱码的核心法则就是，字符按照什么标准而编码的，
  12.  就要按照什么标准解码，此处的标准指的就是字符编码
  13. 2、在内存中写的所有字符，一视同仁，都是unicode编码，比如我们打开编辑器，
  14.  输入一个“你”，我们并不能说“你”就是一个汉字，此时它仅仅只是一个符号，
  15.  该符号可能很多国家都在使用，根据我们使用的输入法不同这个字的样式可能也不太一样。
  16.  只有在我们往硬盘保存或者基于网络传输时，
  17.  才能确定”你“到底是一个汉字，还是一个日本字，这就是unicode转换成其他编码格式的过程了