贝叶斯定理

Mathematics

条件概率

条件概率是指事件A在另外一个事件B已经发生条件下的发生概率，记作，表示在B的条件下A的概率，或者说表示A在B发生的条件下发生的概率。

其中表示A与B的联合概率(共同发生的概率)，也可记作或者

贝叶斯定理

了解条件概率的基本定义后，我们可以推导出贝叶斯公式：

对于，其中为后验，称为似然，称为先验，称为边际
考虑之前的岭回归函数，我们在选择的时候，会考虑什么样的是我们需要的，这里会有一个先验概率。

先验概率

指根据以往经验和分析，在实验或采样前就可以得到的概率。

后验概率

指某件事已经发生，想要计算这件事发生的原因是由某个因素引起的概率。

对于离散型随机变量，，因此公式可以记作：

需要注意的是，这里叫做全概率公式。
由离散型推广到连续型，假设为模型参数，是一个连续值，为样本数据，根据贝叶斯定理则有

最大后验(Maximum A Priori - MAP)

最小二乘的可以通过最大似然估计得到，对于岭回归中的也可以用概率解释。
假设有模型，与最小二乘不同的是此处为提出一个先验模型并假设满足高斯分布，其概率密度函数为：

用最大后验估计来求在后验分布下的，即：

可以看到，第一项是最小二乘法的目标函数，第二项是先验，由于第三项与无关，因此可以不用考虑，因此：

令该方程偏导数为0求解最优的得到：

因此可以看出：

References:

thinkbayes.pdf