理解交叉熵损失函数

信息熵、交叉熵和相对熵

1. 什么是熵 — entropy

词源 — 最初来源于热力学

Entropy来源于希腊语，原意：内向，即：一个系统不受外部干扰时往内部稳定状态发展的特性。定义的其实是一个热力学的系统变化的趋势。

%22%20aria-hidden%3D%22true%22%3E%0A%20%3Cuse%20xlink%3Ahref%3D%22%23E1-MJMAIN-394%22%20x%3D%220%22%20y%3D%220%22%3E%3C%2Fuse%3E%0A%20%3Cuse%20xlink%3Ahref%3D%22%23E1-MJMATHI-53%22%20x%3D%22833%22%20y%3D%220%22%3E%3C%2Fuse%3E%0A%20%3Cuse%20xlink%3Ahref%3D%22%23E1-MJMAIN-3D%22%20x%3D%221756%22%20y%3D%220%22%3E%3C%2Fuse%3E%0A%3Cg%20transform%3D%22translate(2535%2C0)%22%3E%0A%3Cg%20transform%3D%22translate(397%2C0)%22%3E%0A%3Crect%20stroke%3D%22none%22%20width%3D%22911%22%20height%3D%2260%22%20x%3D%220%22%20y%3D%22220%22%3E%3C%2Frect%3E%0A%20%3Cuse%20xlink%3Ahref%3D%22%23E1-MJMATHI-51%22%20x%3D%2260%22%20y%3D%22714%22%3E%3C%2Fuse%3E%0A%20%3Cuse%20xlink%3Ahref%3D%22%23E1-MJMATHI-54%22%20x%3D%22103%22%20y%3D%22-698%22%3E%3C%2Fuse%3E%0A%3C%2Fg%3E%0A%3C%2Fg%3E%0A%20%3Cuse%20xlink%3Ahref%3D%22%23E1-MJMAIN-3D%22%20x%3D%224242%22%20y%3D%220%22%3E%3C%2Fuse%3E%0A%3Cg%20transform%3D%22translate(5020%2C0)%22%3E%0A%3Cg%20transform%3D%22translate(397%2C0)%22%3E%0A%3Crect%20stroke%3D%22none%22%20width%3D%222485%22%20height%3D%2260%22%20x%3D%220%22%20y%3D%22220%22%3E%3C%2Frect%3E%0A%3Cg%20transform%3D%22translate(60%2C949)%22%3E%0A%3Cg%20transform%3D%22translate(250%2C0)%22%3E%0A%3Ctext%20font-family%3D%22monospace%22%20stroke%3D%22none%22%20transform%3D%22scale(71.759)%20matrix(1%200%200%20-1%200%200)%22%3E%E7%83%AD%3C%2Ftext%3E%0A%3C%2Fg%3E%0A%3Cg%20transform%3D%22translate(1182%2C0)%22%3E%0A%3Ctext%20font-family%3D%22monospace%22%20stroke%3D%22none%22%20transform%3D%22scale(71.759)%20matrix(1%200%200%20-1%200%200)%22%3E%E9%87%8F%3C%2Ftext%3E%0A%3C%2Fg%3E%0A%3C%2Fg%3E%0A%3Cg%20transform%3D%22translate(60%2C-881)%22%3E%0A%3Cg%20transform%3D%22translate(250%2C0)%22%3E%0A%3Ctext%20font-family%3D%22monospace%22%20stroke%3D%22none%22%20transform%3D%22scale(71.759)%20matrix(1%200%200%20-1%200%200)%22%3E%E6%B8%A9%3C%2Ftext%3E%0A%3C%2Fg%3E%0A%3Cg%20transform%3D%22translate(1182%2C0)%22%3E%0A%3Ctext%20font-family%3D%22monospace%22%20stroke%3D%22none%22%20transform%3D%22scale(71.759)%20matrix(1%200%200%20-1%200%200)%22%3E%E5%BA%A6%3C%2Ftext%3E%0A%3C%2Fg%3E%0A%3C%2Fg%3E%0A%3C%2Fg%3E%0A%3C%2Fg%3E%0A%3C%2Fg%3E%0A%3C%2Fsvg%3E#card=math&code=%5CDelta%20S%3D%5Cfrac%7BQ%7D%7BT%7D%3D%5Cfrac%7B%5Ctext%20%7B%20%E7%83%AD%E9%87%8F%20%7D%7D%7B%5Ctext%20%7B%20%E6%B8%A9%E5%BA%A6%20%7D%7D%0A&id=d1nyW)

1923年，德国科学家普朗克来中国讲学用到 entropy 这个词，胡刚复教授看到这个公式，创造了“熵”字，因为“火”和热量有关，定义式又是热量比温度，相当自洽。

信息论

信息论中，熵是接受的每条消息中包含的信息的平均值。又被称为信息熵、信源熵、平均自信息量。可以被理解为不确定性的度量，熵越大，信源的分布越随机。

1948年，由克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也叫做：香农熵。

生态学

在生态学中，熵表示生物多样性的指标。

广义的定义

熵是描述一个系统的无序程度的变量；同样的表述还有，熵是系统混乱度的度量，一切自发的不可逆过程都是从有序到无序的变化过程，向熵增的方向进行。

2. 信息熵、交叉熵、相对熵的定义

信息熵是信息量的期望（均值），它不是针对每条信息，而是针对整个不确定性结果集而言，信息熵越大，事件不确定性就越大。单条信息只能从某种程度上影响结果集概率的分布。

根据真实分布，我们能够找到一个最优策略，以最小的代价消除系统的不确定性（比如编码），而这个代价的大小就是信息熵。

%3D%5Csum%7Bi%7D%20P(i)%20%5Clog%20%7Ba%7D%20%5Cfrac%7B1%7D%7BP(i)%7D%3D-%5Csum%7Bi%7D%20P(i)%20%5Clog%20%7Ba%7D%20P(i)%0A#card=math&code=H%28P%29%3D%5Csum%7Bi%7D%20P%28i%29%20%5Clog%20%7Ba%7D%20%5Cfrac%7B1%7D%7BP%28i%29%7D%3D-%5Csum%7Bi%7D%20P%28i%29%20%5Clog%20%7Ba%7D%20P%28i%29%0A&id=oBLVk)

交叉熵，用来衡量在给定的真实分布下，使用非真实分布指定的策略消除系统的不确定性所需要付出努力的大小。

%3D%5Csum%7Bi%7D%20P(i)%20%5Clog%20%7Ba%7D%20%5Cfrac%7B1%7D%7BQ(i)%7D%0A#card=math&code=H%28P%2CQ%29%3D%5Csum%7Bi%7D%20P%28i%29%20%5Clog%20%7Ba%7D%20%5Cfrac%7B1%7D%7BQ%28i%29%7D%0A&id=qQVzo)

相对熵，即 散度，是用来衡量两个概率分布之间的差异，

%3D%5Csum%7Bi%7D%20P(i)%20%5Clog%20%7Ba%7D%20%5Cfrac%7BP(i)%7D%7BQ(i)%7D%0A#card=math&code=D%7BK%20L%7D%28P%20%5C%7C%20Q%29%3D%5Csum%7Bi%7D%20P%28i%29%20%5Clog%20_%7Ba%7D%20%5Cfrac%7BP%28i%29%7D%7BQ%28i%29%7D%0A&id=fCovk)

信息论的角度

散度可以用于计算代价，在特定情况下，最小化 散度等价于最小化交叉熵，而交叉熵形式更简单，被广泛用于代价计算。

%3D-H(A)%2BH(A%2CB)%0A#card=math&code=D_%7BK%20L%7D%28P%5C%7CQ%29%3D-H%28A%29%2BH%28A%2CB%29%0A&id=wbtm2)

最小化模型输出的概率分布和训练数据上的分布，等价于最小化这两个分布的 散度。

极大似然估计的角度

随机变量 ，真实分布为 #card=math&code=%5Chat%20P%28x%29&id=teM5H)，进行 次独立同分布实验，统计每个结果出现的次数 #card=math&code=N%28x%29&id=PVaAF)，似然函数可以写成

%3D%5Cprod%7Bx%7D%5Chat%20P(x)%5E%7BN(x)%7D%0A#card=math&code=L%28x%2C%5Ctheta%29%3D%5Cprod%7Bx%7D%5Chat%20P%28x%29%5E%7BN%28x%29%7D%0A&id=RQddv)

取对数，用频率#card=math&code=P%28x%29&id=BRWvj)替换掉次数 #card=math&code=N%28x%29&id=i3309)，目标函数极大换成极小，就得到了熟悉的交叉熵。

%7D%7BN%7D%20%5Cln%20%5Chat%20P(x)%3D-%5Csum%7Bx%7D%20P(x)%20%5Cln%20%5Chat%20P(x)%0A#card=math&code=-%5Csum%7Bx%7D%20%5Cfrac%7BN%28x%29%7D%7BN%7D%20%5Cln%20%5Chat%20P%28x%29%3D-%5Csum_%7Bx%7D%20P%28x%29%20%5Cln%20%5Chat%20P%28x%29%0A&id=lzkZo)

采用拉格朗日乘子可以求解带约束问题

%20%5Cln%20%5Chat%20P(x)%2B%5Clambda%5Cleft(%5Csum%7Bx%7D%20%5Chat%20P(x)-1%5Cright)%20%3D%200%0A#card=math&code=-%5Csum%7Bx%7D%20P%28x%29%20%5Cln%20%5Chat%20P%28x%29%2B%5Clambda%5Cleft%28%5Csum_%7Bx%7D%20%5Chat%20P%28x%29-1%5Cright%29%20%3D%200%0A&id=rTfGr)

%7D%7B%5Chat%20P(x)%7D%2B%5Clambda%3D0%0A#card=math&code=-%5Cfrac%7BP%28x%29%7D%7B%5Chat%20P%28x%29%7D%2B%5Clambda%3D0%0A&id=tvZdr)

结合归一化条件，可以得到 %20%3D%20P(x)#card=math&code=%5Chat%20P%28x%29%20%3D%20P%28x%29&id=o4Ssk)。

用交叉熵求解带约束问题的极小值，等价于使得模型分布接近训练数据的分布。