编码

GB2312、GBK、GB18030 这几种字符集的主要区别是什么？

import chardet
import cchardet
print(cchardet.detect('我们在哪里你在你来'.encode('gbk')))
# {'encoding': 'GB18030', 'confidence': 0.9900000095367432}
print(chardet.detect('我们在哪里你在你来'.encode('gbk')))
# {'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}

从requests源码和scrapy源码分析编码问题