1.Review:Probabilistic Graphic Model

判别式模型

• 判别式模型
• 

• 可以用MLE求解参数，① 解析解 ② 梯度下降

  产生式模型

  

• 对建模

• 

  无向图模型

  
  同样可以用MLE求解

  带隐变量的产生式

  
  可以用EM求解

  贝叶斯派

  
  

  2.EM → Variational Bayes

  
  都是隐变量这里将二者合并记为z，可以使用EM算法求解α
  
  这里的隐变量的后验分布很难求，可以用简单的分布去逼近它。
  如何衡量逼近程度，可以使用KL散度
  
  
  这里我们要寻找使KL散度最小化的q，所以第一项没有影响，而第二项叫做ELBO（evidence lower bound）
  
  最小化KL等价于最大化ELBO
  

  3.Stochastic Gradient VI

  平均场变分推断，我们进一步给q加约束
  
  
  
  
  对第j项，上式等于
  综合以上可得：
  
  有了上式，就可以对每个隐变量分量迭代优化

  4.Example:Latent Dirichlet Model

  

• 是第m个文档的第n个词。

• Topic文档主题，可以认为是文档中心思想，有数学来描述可以认为是单词的概率分布
• 表示第k个主题下，第v个单词出现的概率
• 表示产生第m篇文档中第n个单词的主题，
• 一篇文档可能有多个主题，所以其本身有一个主题分布，
• 
• 
• VBEM:
  • 固定求后验
  • 固定q，求α，β。