熵是对随机变量不确定性的度量。不确定性越大，熵越大。
    一条信息消除的不确定性越大（即熵减越大），它蕴含的信息量越大。