7.1.2 马尔可夫的基本概念

本章重点介绍离散时间的马尔科夫链。这种随机过程可由状态转移概率描述条件概率。其含义为系统上一个时刻的状态,下一个时刻转移到状态的概率。对于有限或无限可数状态空间的马尔科夫链，可用状态转移矩阵表示此条件概率值。如果系统有m个状态，则状态转移矩阵P是一个 m *m 的矩阵

它的元素表示由状态i转到j的概率

在这里，状态的所有可能取值用从1开始的整数编号。由于概率是非负的，因此由下面的不等式约束

当前时刻无论处于那个状态i,在下个时刻必然会转向m个状态中的一个，因此有下面的等式约束

这意味着状态转移矩阵任意一行元素之和为1
如果任意时刻状态转移概率是相同的，则称为时齐马尔科夫链。此时只有一个状态转移矩阵，在各个时刻均适用。
根据全概率公式，对于所有状态，写成矩阵形式为

式（7.8）建立了状态的概率分布随着时间线的递推公式。反复利用式（7.8）可以得到