什么是贝叶斯网络

贝叶斯网络(Bayesian network)，又称信念网络(Belief Network)，或有向无环图模型(directed acyclic graphical model)，是一种概率图模型，于1985年由Judea Pearl首先提出。它是一种模拟人类推理过程中因果关系的不确定性处理模型，其网络拓朴结构是一个有向无环图(DAG)。

贝叶斯网络的有向无环图中的节点表示随机变量，它们可以是可观察到的变量，或隐变量、未知参数等。认为有因果关系（或非条件独立）的变量或命题则用箭头来连接。若两个节点间以一个单箭头连接在一起，表示其中一个节点是“因(parents)”，另一个是“果(children)”，两节点就会产生一个条件概率值。
总而言之，连接两个节点的箭头代表此两个随机变量是具有因果关系，或非条件独立。

例如，假设节点E直接影响到节点H，即E→H，则用从E指向H的箭头建立结点E到结点H的有向弧(E,H)，权值(即连接强度)用条件概率来表示，如下图所示：

简言之，把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。其主要用来描述随机变量之间的条件依赖，用圈表示随机变量(random variables)，用箭头表示条件依赖(conditional dependencies)。

简单的贝叶斯网络

下图所示就是一个简单的贝叶斯网络

于是就产生了这样的公式

正常情况下的贝叶斯网络

我们再来看一个贝叶斯网络

从直观上来看可以观察到：

• 和是独立的
• 和在给定的条件下是独立的

所以我们能得到这样一个联合分布

全连接贝叶斯网络

所谓的全连接就是每一对顶点之间都有边连接，但是这样的贝叶斯网络并不常用，因为全连接的贝叶斯网络模型复杂，而且参数众多，并不是一个非常讨人喜欢的模型。
对于全连接贝叶斯网络来说公式是这样的：

虽然介绍了几种贝叶斯网络但是我们还有一些疑问，想正常情况下的贝斯网络中，如何判定的结点是否独立呢？这就要用到独立性判断。

贝叶斯网络的独立性判断

形式一：head-to-head

head-to-head的结构如下图所示

这种情况表示在c位置的情况下，a和b之间的通道是被阻断的，所以称a和b是独立的。

形式二：tail-to-tail

tail-to-tail的结构如下图所示

这样的结构有如下两种情况。

c未知

在c未知的条件下，得到这样的公式，在c不知道的情况下我们是没法分别求的a和b的概率的，所一在c未知的情况下，a和b不独立。

c已知

在c已知的条件下，得到这样的公式，然后将代入到式子中，得到：，即c已知时，a和b独立。

形式三：head-to-tail

head-to-tail的结构如下图所示

这样的结构有如下两种情况。

c未知

在c未知的条件下，得到这样的公式，在c不知道的情况下我们是没法分别求的a和b的概率的，所一在c未知的情况下，a和b不独立。

c已知

在c已知的条件下，得到这样的公式

所以在c给定的条件下，a和b被阻断，所以a和b是独立的。