这一模块围绕着信息的产生，也就是信息的源泉，香农称为信息源。
|
定义 |
- 过去：人们试图从内容出发，通过对比重要性，度量信息。
- 目标：香农说，对于一条信息，重要的是找出其中有多少信息量，要搞清楚信息量，就要对信息进行量化的度量。
度量信息量的基本单位，就是 比特。
比特的定义：
- 如果一个黑盒子中有 A 和 B 两种可能性，它们出现的概率相同，那么要搞清楚到底是 A 还是 B，所需要的信息量就是一比特。
- 如果我们队这个黑盒子有一点知识，知道 A 的概率比 B 大，那么解密它们所需要的信息就不到一比特。
多于 A 和 B 两种场景消除它的不确定性需要多少信息呢？
- 确定四选一问题的答案需要 2 比特。
- 确定世界杯冠军的问题需要 5 比特。
信息概念的关系：
- 信息源：充满不确定性的黑盒子。
- 信息熵：黑盒子里的不确定性。
- 信息：用来消除不确定性（信息熵）。
- 搞清楚黑盒子里是怎么一回事，需要的信息量等于黑盒子里的信息熵。
熵的概念：
- 热力学中表示一个系统的无序状态，或者说随机性。
- 信息系统，表示一个系统的不确定性。
- 一个系统中的状态数量，也就是可能性，越多，不确定性就越大；在状态数量保持不变时，如果各个状态的可能性相同，不确定性就很大；相反，如果个别状态容易发生，大部分状态都不可能发生，不确定性就小。
信息熵的计算公式：
举例说明：
- 买彩票两个号，一个必中奖，不确定性小，10000 个号，不确定性大。
- 横轴是 A 发生的概率，从 0 到 1 分布，纵轴就是熵，也就是确定它发生，你需要的信息量。
- 当 A 发生的概率正好是 1/2 时需要的信息熵达到顶峰，是一比特。
赌球的庄家总是稳赚不赔，可以从信息论的角度看清这个问题。很多类似的复杂难题都是信息熵的计算问题。
- 如果大家都往德国队身上下注，结果预测德国获冠军的概率就很高，所以押注的多少其实就是大家给出的概率。
- 开赌局的，只要收费比信息实际的价值高，都是稳赚不赔的。
- 开赌局的从来不是拿自家的钱和你对赌，而是让你们彼此互相赌，他通过变相多收费盈利。
- 金融市场的结构化证券。高盛。
信息过载问题解决：
- 判断一篇报道里有多少信息量。
- 讲的事情大部分大家都知道，信息量就很少。
| |
| —- | —- | —- |
| |
|
- 永远不要听那些正确率总是 50% 的专家的建议，因为那相当于什么都没说，没有提供能够减少信息熵的信息量。
- 很多交易和产品都是利用了信息的可度量性，知道这点，可以看清很多复杂交易背后的原理。
要点：
1. 香农告诉大家，信息可以衡量，但不是用重要性，而是用信息量，单位是 比特。
2. 你可以把一个充满可能性的系统视为一个 信息源，它里面的不确定性叫做 信息熵，而 信息 就是用来消除这些不确定性的，所以搞清楚黑盒子里是怎么一回事，需要的 信息量 就等于黑盒子里的 信息熵。
3. 很多复杂交易和产品都是利用了信息的可度量性，把信息问题变成了概率问题。
4. 信息量的大小不在于长短，而在于开创多少新知。
| | |
若有收获，就点个赞吧
0 人点赞
