DATA: ,Aj表示第j个维度的可能取值的集合,假设可能结果有M种,且x, y 都是离散的。
假设特征与标签均服从多项分布。
对一个样本其类别为y,其第j个特征取值为m时概率:
则联合概率密度
似然函数为
这里我们其实是将x,y均由二项分布推广到了多项分布,所以我们的先验概率密度使用狄利克雷分布也叫多元Beta分布。
多项分布:
若随机变量X服从多项分布,其可能的取值有K种即ak,每种概率为现在进行n次多项分布试验,假设观测到结果a1的次数为n1次,结果a2的次数为n2次,…,结果ak的次数为xk次,记
那么多项分布的联合概率函数为:
狄利克雷分布:
狄利克雷分布与多项分布是共轭分布即
先验分布:
则
后验分布:
推断:
