https://tsinghua-gongjing.github.io/posts/probabilistic-graphic-model.html 概率图模型网络参数学习—含隐变量的参数估计（EM算法）

图模型的学习可以分为两部分：

图模型

  • 任务：根据已观测的样本对感兴趣的未知变量进行估计和推测
  • 概率模型：将学习任务归结为计算变量的概率分布的描述框架
    • 推断：利用已知变量推测未知变量的分布。
      • 核心：基于观测变量推测出未知变量的条件分布。
    • 例子：给定关心的变量集合Y、可观测变量集合O、其他变量集合R
      • 判别式模型：考虑条件分布P(Y,R | O)
      • 生成式模型：考虑联合分布P(Y,R,O)
      • 推断：由判别或生成模型，推断得到条件概率分布P(O | Y)

image.png
image.png

  • 概率图模型（PGM）：
    • 一类用图表达变量相关关系的概率模型，用于实现高效的推断和学习算法
      • 节点：一个或一组随机变量
      • 边：变量间的概率相关关系（变量关系图）
  • PGM学习理论（可以分为两部分）：
    • 网络结构学习，即寻找最优的网络结构。一般比较困难，由领域专家来构建。
    • 网络参数估计，即已知网络结构，估计每个条件概率分布的参数。
  • 分类：基于边的性质
    • 有向图（贝叶斯网）：使用有向无环图表示变量间的依赖关系
    • 无向图（马尔科夫网）：使用无向图表示变量间的相关关系