7.1.1 马尔可夫性

马尔可夫过程是随机过程的典型代表。这种随机过程为随着时间进行演化的一组随机变量进行建模，假设系统在当前时刻的状态值与上一个时刻的状态值有关，与更早的时刻无关，称为无记忆性。

即系统在当前时刻的状态只与上一时刻有关，与更早时刻无关。式（7.1）的假设称为一阶马尔科夫假设，满足此假设的系统具有马尔可夫性。

是初始时刻状态的概率。式（7.2）表明如果系统具有马尔可夫性，则序列的联合概率由各个时刻的条件概率值以及初始概率决定的。