一、背景

1. 一般形式

指数族分布有：高斯分布、伯努利分布、二项分布、泊松分布、beta分布、Dirichlet分布、gamma分布等。
指数族分布的一般形式：

其中：
①：参数向量；
②：充分统计量，Sufficient statistic；
③：log partition function（log配分函数）
④：不很重要，通常取1。

1. 配分函数

   

通常如果我们得到一个可以表达分布的函数但是其积分不为1，需要除以一个归一化因子来将其归一，这个归一化因子就是配分函数，取值为的积分：

解释一下为什么叫log配分函数：

因此就是配分函数，就是log配分函数。

1. 指数族分布的特点、模型和应用

• 充分统计量

是充分统计量。
什么是充分统计量？举例来说，对于从一些从高斯分布中抽取出来的样本，以下统计量就是充分统计量：

因为通过上述统计量可以计算样本的均值和方差进而得到其明确的分布。
有了充分统计量就可以将样本丢掉，从而节省了空间，对online learning有重要意义。

• 共轭

  

在上面的贝叶斯公式中由于分母积分难或者的形式太复杂，因此直接求是很困难的，因此求也是很困难的，所以人们想了很多办法比如近似推断（变分推断、MCMC等），这些方法的提出都是因为上述积分难的问题。
共轭的概念是指在给定一个特殊的似然（）的情况下，后验（）与先验（）会有一个形式相同的分布，这也就解决了上述积分困难的问题，避免了就分母上的积分项常数。
举个例子：

• 最大熵

给出先验的一些方法包括：
①共轭计算上的方便；
②最大熵无信息先验；
③Jerrif。
最大熵原理给出了一种定义先验的方式，可以使得参数更加地随机。

• 广义线性模型

广义线性模型中出现的一些概念：

• 概率图模型

无向图中的RBM（限制玻尔兹曼机）应用到了指数族分布。

二、高斯分布的指数族分布形式

以一维高斯分布为例，将高斯分布整理成指数族分布的形式：

然后即可获得和的关系：

将代入可以得到如下结果：

由此就将高斯分布整理成了指数族分布的形式：

三、对数配分函数与充分统计量

通过对指数族分布的通用形式进行整理，可以得出对数配分函数与充分统计量
的特定关系：

类似地，继续对求二阶导数:

四、极大似然估计与充分统计量

上述推导都是在无样本条件下进行的，在有样本的情况下我们也可以通过极大似然估计法来获得一些特定的关系，假设有如下数据：

然后使用极大似然估计法求解：

就可以通过求的反函数求出来。这说明是充分统计量，因为只需要记录这一个值就可以求出，进而通过求出所有的参数。

五、最大熵

1. 概述

首先定义信息量和熵：

1. 离散情况下的最大熵

假设是离散的：

x	1	2		k
P

通过求解以下约束优化问题可以求得使得离散情况下熵最大的分布：

使用拉格朗日乘子法进行求解：

离散情况下均匀分布会使得熵最大。也就是说在没有任何已知条件约束的情况下均匀分布的熵最大。