DATA: 作业5-朴素贝叶斯的贝叶斯估计 - 图1
    作业5-朴素贝叶斯的贝叶斯估计 - 图2Aj表示第j个维度的可能取值的集合,假设可能结果有M种,且x, y 都是离散的。
    假设特征与标签均服从多项分布。
    对一个样本其类别为y,其第j个特征取值为m时概率:作业5-朴素贝叶斯的贝叶斯估计 - 图3
    作业5-朴素贝叶斯的贝叶斯估计 - 图4
    则联合概率密度作业5-朴素贝叶斯的贝叶斯估计 - 图5
    似然函数为作业5-朴素贝叶斯的贝叶斯估计 - 图6
    这里我们其实是将x,y均由二项分布推广到了多项分布,所以我们的先验概率密度使用狄利克雷分布也叫多元Beta分布。
    多项分布:
    若随机变量X服从多项分布,其可能的取值有K种即ak,每种概率为作业5-朴素贝叶斯的贝叶斯估计 - 图7现在进行n次多项分布试验,假设观测到结果a1的次数为n1次,结果a2的次数为n2次,…,结果ak的次数为xk次,记作业5-朴素贝叶斯的贝叶斯估计 - 图8
    那么多项分布的联合概率函数为:
    作业5-朴素贝叶斯的贝叶斯估计 - 图9

    狄利克雷分布:
    作业5-朴素贝叶斯的贝叶斯估计 - 图10
    狄利克雷分布与多项分布是共轭分布即作业5-朴素贝叶斯的贝叶斯估计 - 图11
    先验分布:
    作业5-朴素贝叶斯的贝叶斯估计 - 图12
    作业5-朴素贝叶斯的贝叶斯估计 - 图13
    后验分布:
    作业5-朴素贝叶斯的贝叶斯估计 - 图14
    作业5-朴素贝叶斯的贝叶斯估计 - 图15
    作业5-朴素贝叶斯的贝叶斯估计 - 图16
    作业5-朴素贝叶斯的贝叶斯估计 - 图17
    作业5-朴素贝叶斯的贝叶斯估计 - 图18
    作业5-朴素贝叶斯的贝叶斯估计 - 图19
    作业5-朴素贝叶斯的贝叶斯估计 - 图20
    推断:
    作业5-朴素贝叶斯的贝叶斯估计 - 图21
    作业5-朴素贝叶斯的贝叶斯估计 - 图22
    作业5-朴素贝叶斯的贝叶斯估计 - 图23
    作业5-朴素贝叶斯的贝叶斯估计 - 图24
    作业5-朴素贝叶斯的贝叶斯估计 - 图25