信息熵、交叉熵、相对熵（KL散度）、JS散度和Wasserstein距离（推土机距离）

信息量：
任何事件都会承载着一定的信息量，包括已经发生的事件和未发生的事件，只是它们承载的信息量会有所不同。如昨天下雨这个已知事件，因为已经发生，既定事实，那么它的信息量就为0。如明天会下雨这个事件，因为未有发生，那么这个事件的信息量就大。
从上面例子可以看出信息量是一个与事件发生概率相关的概念，而且可以得出，事件发生的概率越小，其信息量越大。这也很好理解，狗咬人不算信息，人咬狗才叫信息嘛。
我们已知某个事件的信息量是与它发生的概率有关，那我们可以通过如下公式计算信息量：
假设是一个离散型随机变量，其取值集合为,概率分布函数,则定义事件的信息量为：