马尔科夫链.ppt

目录一、马尔科夫链的定义一、马尔科夫链的定义二、一步转移概率和矩阵回顾：马尔科夫链的基本概念回顾：马尔科夫链的基本性质回顾：马尔科夫链的基本概念回顾：马尔科夫链的状态分类回顾：马尔科夫链的状态分类回顾：马尔科夫链的状态分类回顾：马尔科夫链的状态分类回顾：马尔科夫链的状态分类状态空间的分解状态空间的分解可以对整个马氏链进行分析，得知3是吸收的，故{3}是闭集.{1，4}，{1，4，3}，{1，2，3，4}都是闭集，其中{3}及{1，4}是不可约的.又I含有非不可约闭子集，故不是不可约链.状态空间的分解状态空间的分解状态空间的分解状态空间的分解状态空间的分解状态空间的分解状态空间的分解状态空间的分解状态空间的分解状态空间的分解状态空间的分解状态空间的分解状态空间的分解定理4.8如j非常返或零常返，则

推论4.1有限状态的马氏链，不可能全是非常返状态，也不可能有零常返状态。从而不可约的有限马氏链是正常返的。
推论4.2如马氏链有一个零常返态，则必有无限多个零常返状态。
定理4.9如j正常返，周期为d，则对任意i及有

推论4.3设不可约、正常返、周期d的马氏链，其状态空间为C，则对一切，有

其中，为定理4.11中所给出。
特别，如d=1，则对一切i，j有
。
我们知道表示自j出发，在n步之内返回到j的平均次数，故
表示每单位时间再回到j的平均次数，而也表示自j出发每单位时间回到j的平均次数，所以应有
如果质点从i出发，则要考虑自i出发能否到达j的情况，即要考虑的大小。于是我们有
定理4.10对任意状态i，j，有

推论4.4如不可约，常返，则对任意i，j，有

当时，理解。
定理4.10及推论指出，当j正常返时，尽管不一定存在，但其平均值的极限存在，特别是当链不可约时，其极限与i无关。在马氏链理论中，是一个重要的量，定理4.9,4.10的推论及定义都给出的计算公式，下面我们通过平稳分布给出另一个计算的方法。
平稳分布定义称概率分布为马尔可夫链的平稳分布，若它满足

由定义知，若初始概率分布是平稳分布，则由定理4.1有

根据归纳法得到

综上所述有
将平稳分布的概念引入马尔科夫链中得到如下性质定理：
定理4.11不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布的就是极限分布

推论4.5有限状态的不可约非周期马尔可夫链必存在平稳分布。
推论4.6若不可约马尔可夫链的所有状态是非常返的或零常返的，则不存在平稳分布。
推论4.7若是不可约非周期马氏链的平稳分布，则

运用上述定理和推论，只要证明运用中构建的随机矩阵是不可约非周期马氏链，则可运用平稳分布定义和推论4.4得到马氏链的稳定分布。下面就介绍几个马尔科夫链的例题。例题：设马尔科夫链的状态空间I={1，2，3，4，5，6，7}，转移概率矩阵为：

P=

求状态的分类及各常返闭集的平稳分布P=由于马尔科夫链具有的无后效性，下n个时期的状态完全取决于本时期的状态和转移概率。完全排除了过去对未来的影响，因此在天气预报、股市和投资决策、地质分析等很多领域可以用来对未来的状态估计。下面我们举出两个运用实例：

原理我们把学生的学习成绩分为若干种有限状态，把教学的一个长阶段分为若干个小阶段，每个小阶段称为一个时刻，则从此一时刻到下一时刻学生学习状态的变化就可以反映由教师的主导作用而产生的教学效果，它具有稳定的转移趋势。这种转化是由学生现在所处的状态向下一时刻的转化，因而与其以前的状态无关，它具有无后效性，因此教学过程可以看成一个齐次马尔科夫链，利用马尔科夫链的平稳分布，就可以对教师在这教学过程中的教学效果进行评价，也可以对若干名教师的教学效果进行比较。
具体方法1）把待考评的教师的一个长的教学过程分为若干个阶段（例如一个学期分为开学阶段，期中阶段和期末阶段），分别记为不同时刻，在每个阶段用标准化试题考试，把学生的学习成绩分为N个等级（如91~100分为优，81~90为良，71~80为中，60~70为及格，59分或以下为不及格），形成一个状态空间I={……},然后归纳统计学生的学习成绩由每一时刻向下一时刻状态之间的转化的频率，以此为概率的近似值作为转移概率。
2）由转移概率确定转移概率矩阵
3）求方程组，即的满足的解。
4）为了对于不同教师的教学效果的评价结果具有可比性，我们定义一个数作为教学效果的评价指标，如可取每个状态分数范围的中间值作为该状态的代表分数，则评价指标为M=
实例1）现有甲、乙、丙、丁四位教师，在教同一学期的过程中，由几次标准化测试所得各自的转移矩阵分别为：
2）解齐次线性方程组
3）计算得出如下表：

可见乙的教学效果最好，丙的教学效果最差。
现以某市某品牌彩电市场占有率预测为例说明马尔科夫预测法在