《统计学习方法》 《西瓜书》 《PRML》 《MLAPP》 《ESL》

对概率的诠释有两大学派，一种是频率派另一种是贝叶斯派。后面我们对观测集采用下面记号：

Introduction - 图1%5E%7BT%7D%2Cx%7Bi%7D%3D(x%7Bi1%7D%2Cx%7Bi2%7D%2C%5Ccdots%2Cx%7Bip%7D)%5E%7BT%7D%0A#card=math&code=X%7BN%5Ctimes%20p%7D%3D%28x%7B1%7D%2Cx%7B2%7D%2C%5Ccdots%2Cx%7BN%7D%29%5E%7BT%7D%2Cx%7Bi%7D%3D%28x%7Bi1%7D%2Cx%7Bi2%7D%2C%5Ccdots%2Cx%7Bip%7D%29%5E%7BT%7D%0A&height=24&width=366)

这个记号表示有 Introduction - 图2 个样本，每个样本都是 Introduction - 图3 维向量。其中每个观测都是由 Introduction - 图4 生成的。

频率派的观点-统计机器学习

Introduction - 图5#card=math&code=p%28x%7C%5Ctheta%29&height=18&width=39)中的 Introduction - 图6 是一个(未知)常量。对于 Introduction - 图7 个观测来说观测集的概率为 Introduction - 图8%5Cmathop%7B%3D%7D%5Climits%20%7Biid%7D%5Cprod%5Climits%20%7Bi%3D1%7D%5E%7BN%7Dp(x%7Bi%7D%7C%5Ctheta))#card=math&code=p%28X%7C%5Ctheta%29%5Cmathop%7B%3D%7D%5Climits%20%7Biid%7D%5Cprod%5Climits%20%7Bi%3D1%7D%5E%7BN%7Dp%28x%7Bi%7D%7C%5Ctheta%29%29&height=47&width=132) 。为了求 Introduction - 图9 的大小，我们采用最大对数似然MLE的方法：

Introduction - 图10%5Cmathop%7B%3D%7D%5Climits%20%7Biid%7D%5Cmathop%7Bargmax%7D%5Climits%20%7B%5Ctheta%7D%5Csum%5Climits%20%7Bi%3D1%7D%5E%7BN%7D%5Clog%20p(x%7Bi%7D%7C%5Ctheta)%0A#card=math&code=%5Ctheta%7BMLE%7D%3D%5Cmathop%7Bargmax%7D%5Climits%20%7B%5Ctheta%7D%5Clog%20p%28X%7C%5Ctheta%29%5Cmathop%7B%3D%7D%5Climits%20%7Biid%7D%5Cmathop%7Bargmax%7D%5Climits%20%7B%5Ctheta%7D%5Csum%5Climits%20%7Bi%3D1%7D%5E%7BN%7D%5Clog%20p%28x%7Bi%7D%7C%5Ctheta%29%0A&height=53&width=377)

贝叶斯派的观点-概率图模型

贝叶斯派认为 Introduction - 图11#card=math&code=p%28x%7C%5Ctheta%29&height=18&width=39) 中的 Introduction - 图12 不是一个常量。这个 Introduction - 图13 满足一个预设的先验的分布 Introduction - 图14#card=math&code=%5Ctheta%5Csim%20p%28%5Ctheta%29&height=20&width=59) 。于是根据贝叶斯定理依赖观测集参数的后验可以写成：

Introduction - 图15%3D%5Cfrac%7Bp(X%7C%5Ctheta)%5Ccdot%20p(%5Ctheta)%7D%7Bp(X)%7D%3D%5Cfrac%7Bp(X%7C%5Ctheta)%5Ccdot%20p(%5Ctheta)%7D%7B%5Cint%5Climits%20%7B%5Ctheta%7Dp(X%7C%5Ctheta)%5Ccdot%20p(%5Ctheta)d%5Ctheta%7D%0A#card=math&code=p%28%5Ctheta%7CX%29%3D%5Cfrac%7Bp%28X%7C%5Ctheta%29%5Ccdot%20p%28%5Ctheta%29%7D%7Bp%28X%29%7D%3D%5Cfrac%7Bp%28X%7C%5Ctheta%29%5Ccdot%20p%28%5Ctheta%29%7D%7B%5Cint%5Climits%20%7B%5Ctheta%7Dp%28X%7C%5Ctheta%29%5Ccdot%20p%28%5Ctheta%29d%5Ctheta%7D%0A&height=61&width=316)
Introduction - 图16

为了求 Introduction - 图17 的值，我们要最大化这个参数后验MAP：

Introduction - 图18%3D%5Cmathop%7Bargmax%7D%5Climits%20%7B%5Ctheta%7Dp(X%7C%5Ctheta)%5Ccdot%20p(%5Ctheta)%0A#card=math&code=%5Ctheta%7BMAP%7D%3D%5Cmathop%7Bargmax%7D%5Climits%20%7B%5Ctheta%7Dp%28%5Ctheta%7CX%29%3D%5Cmathop%7Bargmax%7D%5Climits%20%7B%5Ctheta%7Dp%28X%7C%5Ctheta%29%5Ccdot%20p%28%5Ctheta%29%0A&height=28&width=306)

其中第二个等号是由于分母和 Introduction - 图19 没有关系。求解这个 Introduction - 图20 值后计算Introduction - 图21%5Ccdot%20p(%5Ctheta)%7D%7B%5Cint%5Climits%20%7B%5Ctheta%7Dp(X%7C%5Ctheta)%5Ccdot%20p(%5Ctheta)d%5Ctheta%7D#card=math&code=%5Cfrac%7Bp%28X%7C%5Ctheta%29%5Ccdot%20p%28%5Ctheta%29%7D%7B%5Cint%5Climits%20%7B%5Ctheta%7Dp%28X%7C%5Ctheta%29%5Ccdot%20p%28%5Ctheta%29d%5Ctheta%7D&height=54&width=111) ，就得到了参数的后验概率。其中 Introduction - 图22#card=math&code=p%28X%7C%5Ctheta%29&height=18&width=43) 叫似然，是我们的模型分布。得到了参数的后验分布后，我们可以将这个分布用于预测贝叶斯预测：

Introduction - 图23%3D%5Cint%5Climits%20%7B%5Ctheta%7Dp(x%7Bnew%7D%7C%5Ctheta)%5Ccdot%20p(%5Ctheta%7CX)d%5Ctheta%0A#card=math&code=p%28x%7Bnew%7D%7CX%29%3D%5Cint%5Climits%20%7B%5Ctheta%7Dp%28x_%7Bnew%7D%7C%5Ctheta%29%5Ccdot%20p%28%5Ctheta%7CX%29d%5Ctheta%0A&height=47&width=230)

其中积分中的被乘数是模型，乘数是后验分布。

小结

频率派和贝叶斯派分别给出了一系列的机器学习算法。频率派的观点导出了一系列的统计机器学习算法而贝叶斯派导出了概率图理论。在应用频率派的 MLE 方法时最优化理论占有重要地位。而贝叶斯派的算法无论是后验概率的建模还是应用这个后验进行推断时积分占有重要地位。因此采样积分方法如 MCMC 有很多应用。