马尔可夫链.docx

马尔可夫链
马尔可夫链（Markovchains）是一类重要的随机过程，它的状态空间是有限的或可数无限的。经过一段时间系统从一个状态转到另一个状态这种进程只依赖于当前出发时的状态而与以前的历史无关。马尔可夫链有着广泛的应用，也是研究排队系统的重要工具。
1)离散时间参数的马尔可夫链
=1\*GB3①基本概念
定义5.7设是一个随机过程，状态空间，如果对于任意的一组整数时间，以及任意状态，都有条件概率

（5-17）
即过程未来所处的状态只与当前的状态有关，而与以前曾处于什么状态无关，则称是一个离散时间参数的马尔可夫链。当为可列无限集时称其为可列无限状态的马尔可夫链，否则称其为有限状态的马尔可夫链。
定义5.8设是状态空间上的马尔可夫链，条件概率
（5-18）
称为马尔可夫链在时刻的步转移概率。
步转移概率的直观意义是：质点在时刻处于状态的条件下，再经过步（个单位时间）转移到状态的条件概率。特别地，当时，
（5-19）
称为一步转移概率，简称转移概率。
如果步转移概率，只与有关，而与时间起点无关，则称为离散时间的齐次马尔可夫链。
定义5.9设是状态空间上的马尔可夫链，矩阵
（5-20）
称为在时刻的步转移概率矩阵。
当时，称为一步转移概率矩阵。
对于齐次马尔可夫链，容易推得步转移概率矩阵与一步转移概率矩阵具有关系
，（5-21）
而且与起始时刻无关。今后我们用表示齐次马尔可夫链的步转移概率，为步转移概率矩阵。
=2\*GB3②平稳分布与存在条件
定义5.10给定齐次马尔可夫链，称概率分布
（5-22）
为的初始分布，其中，且，而称概率分布
（5-23）
为的瞬时分布，它表示过程在任意时刻的概率分布。
如果极限
（5-24）
存在，且，，则称为过程的平稳分布。
显然，对于齐次马尔可夫链，它的瞬时概率由初始分布和转移概率矩阵完全确定，即
（5-25）
在平稳分布存在的条件下，由于式（5-25）可变为
（5-26）
令，得平稳分布满足方程
（5-27）
即
（5-28）
再结合正规化条件可求得平稳分布。
方程式（5-27）或式（5-28）称为过程的平衡方程。由平衡方程知，若平稳分布存在，它与初始状态无关，完全由一步转移概率矩阵确定。
2)连续时间参数的马尔可夫链
=1\*GB3①基本概念
定义5.11设连续时间参数随机过程，状态空间，如果对于任意的非负整数，以及任意及，有

（5-29）
则称为连续时间参数的马尔可夫链。
定义5.12设为连续时间参数的马尔可夫链，对任意，非负实数，条件概率
（5-30）
称为其转移概率函数。
显然
，（5-31）
若式（5-30）只与时间的间隔有关，而与时刻的起点无关，则称为连续时间参数的齐次马尔可夫链。
一般地，我们要求齐次马尔可夫链的转移概率函数满足如下的连续性条件：

=2\*GB3②平稳分布与存在条件
定义5.13给定连续时间参数的齐次马尔可夫链，称概率分布
（5-32）
为的初始分布，其中，且，而称概率分布
（5-33）
为的瞬时概率分布，它表示过程在任意时刻的概率分布。
如果极限
（5-34）
存在，且，，则称为的平稳分布。
与离散时间参数的齐次马尔可夫链一样，连续时间参数的齐次马尔可夫链的瞬时概率由初始分布和转移概率函数完全确定，即
（5-35）
在平稳分布存在的条件下，由于
（5-36）
令，得平稳分布满足方程
（5-37）
因此，若知道转移概率函数，则结合，可求得平稳分布。