| 信息编码












    香农第一定律




    文字的诞生 | 信息编码的发展史：
    - 信息编码，人，动物，植物都有。比如动物的怪叫。
    - 人类文明进步，要表达的信息变多，不再是几种不同的声音就能完全覆盖，语言就此产生。
    - 5 个手指；使用 20 进制的玛雅文明。
    - 100 选 一，所代表的信息熵为 log100 = 6.65。
    - 100 个符号编码，信息量 log100=6.65 比特，长度为 1。
    - 十进制编码，一个符号 log10=3.325 比特，表示 100 个数字需要两个符号，信息量加起来还是 6.65 比特。
    - 符号越少，码位越长。对数字的编码其实是等价的，无非是平衡编码复杂性和编码长度之间的关系。


    信息论重要公式：
    香农第一定律：
    编码长度 >= 信息熵(信息量) / 每一个码的信息量。

    文字的诞生过程：
    1. 象形文字，一个图画就是一个意思。
    2. 用几个文字表达一个复杂的含义。
    3. 人类使用动词，文明进步，开始表达复杂意思。
    4. 书写系统加剧人类的不平等。
    5. 古代文字难以普及的重要原因就是基于各种象形文字的编码系统太复杂，要记忆的东西太多，学习成本太高。
    | | | —- | —- | —- | | | | 要点总结：
    1. 通过讲人类创造数字和文字语言的过程，告诉大家，其实它们都是人类用来消除信息不确定性的编码手段。各种编码系统，其实都是在编码复杂性和编码长度之间做平衡，它们在数学上是等价的。
    2. 由于它们是等价的，所以，在一个编码系统中解决不了的问题，换一个系统同样解决不了。
    3. 香农第一定律告诉我们，只要编码设计的足够巧妙，就可以找到最短编码。
    | | |