KL散度，JS散度和交叉熵

1. KL散度

散度又称距离，相对熵，公式为

当和相似度越高，散度越小。
两个性质：
1）不对称性
2）非负性

2. JS散度

散度也称距离，是散度的一种变形。

但是不同于KL主要又两方面：
（1）值域范围
散度的值域范围是，相同则是，相反为。相较于，对相似度的判别更确切了。
（2）对称性，即，从数学表达式中就可以看出。

3. 交叉熵

在神经网络中，交叉熵可以作为损失函数，因为它可以衡量和的相似性。


交叉熵和相对熵的关系：相对熵=交叉熵-信息熵，，代表真实分布，代表估计分布

https://blog.csdn.net/witnessai1/article/details/79574812 https://blog.csdn.net/ningyanggege/article/details/87906786 https://zhuanlan.zhihu.com/p/74075915