原文：https://metacademy.org/graphs/concepts/bayesian_parameter_estimation 修改自：https://www.cnblogs.com/bayesianML/p/6381181.html (学习这部分内容约需要1.9小时)

摘要

在贝叶斯框架中, 我们将统计模型的参数视为随机变量. 模型由变量值的先验分布以及决定参数如何影响观测数据的证据模型来指定. 当我们对观测数据进行条件化时, 我们得到参数的后验分布. 术语”贝叶斯参数估计”会让我们误以为对参数进行了估计, 实际上我们通常可以完全跳过参数估计步骤. 我们把参数积分掉, 并直接进行预测.

预备内容

弄清楚这个概念需要一些预备知识:

  • 贝叶斯规则(Bayes’ rule): 贝叶斯参数估计中重要的概念
  • 多元分布(multivariate distributions): 贝叶斯参数估计中, 为了进行预测, 我们需要把参数积分掉
  • 条件分布(conditional distributions): 在贝叶斯参数估计中, 我们需要用参数的条件分布进行推理
  • 期望和方差(expectation and variance)(可参考任意概率论书籍): 对于预测分布, 我们常常使用其期望

  • 贝塔分布(beta distribution): beta-Bernoulli分布是贝叶斯参数估计中的一个有启发性的例子.

    学习目标

  • 知道”先验(prior)”和”似然函数(likelihood function)”是什么意思

  • 可以使用贝叶斯公式(Bayes’ Rule)计算后验分布
  • 知道后验预测分布是什么, 对于简单的例子可以解析地计算后延预测分布(比如beta-Bernoulli模型)
  • 什么是共轭先验(conjugate prior)? 为什么共轭先验有用?
  • 为什么当使用共轭先验时, 后验分布可以根据pseudocounts给出?

  • 什么是最大后验(maximum a-posteriori, MAP)近似? 给出一个MAP参数和后延预测分布不同的例子.

    核心资源

    (阅读/观看以下资源之一)

    免费

  • 贝叶斯推理和机器学习(Bayesian Reasoning and Machine Learning)
    简介: 用于研究生机器学习课程的教科书
    资源: Section 9.1, “Learning as inference,” pgs. 189-193
    [书本网站]
    作者: David Barber

  • Coursera: 概率图模型(Probabilistic Graphical Models, 2013)简介: 一门概率图模型的在线课程
  • 计算认知小抄(Computational Cognition Cheat Sheets, 2013)简介: 一组为认知科学家写的笔记
  • CSC321的课程笔记, 神经网络导论(Intro to Neural Nets, 2015)
    简介: 多伦多大学本科神经网络课程讲义
    资源: Lecture “Learning probabilistic models,” pages 7-17
    讲义网站
    作者: Roger Grosse, Nitish Srivastava

  • CMU 10-701, 机器学习(2011)
    简介: CMU机器学习课程演讲视频
    资源: 讲座”概率和估计”(Lecture “Probability and estimation”)
    [网站]
    作者: Tom Mitchell

    收费

  • 概率图模型:原理和技术(Probabilistic Graphical Models: Principles and Techniques)
    简介: 一本非常全面的关于概率AI的研究生课程的教科书
    位置: Section 17.3, pgs. 733-741.
    [网站]
    作者: Daphne Koller, Nir Friedman

  • Machine Learning: a Probabilistic Perspective(MLAPP)
    简介: 一本非常全面的研究生机器学习教材
    位置: Sections 3.1-3.3, pgs. 65-78
    [网站]
    作者: Kevin P. Murphy

    增补资源

    (以下为选修内容, 但你可能会发现它们很有用)

    免费

  • Coursera: Neural Networks for Machine Learning (2012)
    简介: Geoff Hinton的在线课程, 他发明了许多神经网络和深度学习背后的核心理念
    位置: “Introduction to the full Bayesian approach”
    [网站]
    作者: Geoffrey E. Hinton

    付费

  • 概率统计和数据分析(Mathematical Statistics and Data Analysis)
    简介: 本科生统计教材
    位置: Section 8.6, “The Bayesian approach to parameter estimation,” up through 8.6.1, “Further remarks on priors,” pages 285-296
    [网站]
    作者: John A. Rice

  • 贝叶斯数据分析(Bayesian Data Analysis)
    简介: 贝叶斯统计教科书, 着重于实际问题
    位置: Sections 2.1-2.3, pgs. 33-39
    [网站]
    作者: Andrew Gelman,John B. Carlin,Hal S. Stern,Donald B. Rubin
  • Pattern Recognition and Machine Learning(PRML)
    研究生机器学习课程的教科书, 聚焦于贝叶斯方法
    位置: Section 2.1, pgs. 68-74
    [网站]
    作者: Christopher M. BIshop