马尔可夫链模型.pdf

1马尔科夫链模型在自然界与社会现象中，许多随机现象遵循下列演变规律，已知某个系统(或过程)在时刻tt=0所处的状态，与该系统(或过程)在时刻tt>0所处的状态与时刻tt<0所处的状态无关。例如，微分方程的初值问题描述的物理系统属于这类随机性现象。随机现象具有的这种特性称为无后效性(随机过程的无后效性)，无后效性的直观含义：已知“现在”，“将来”和“过去”无关。在贝努利过程{X(nn),1³}中，设Xn()表示第n次掷一颗骰子时出现的点数，易见，今后出现的点数与过去出现的点数无关。在维纳过程{X(tt),0³}中，设Xt()表示花粉在水面上作布朗运动时所处的位置，易见，已知花粉目前所处的位置，花粉将来的位置与过去的位置无关。在泊松过程{N(tt),³0}中，设Nt()表示时间段[0,]t内进入某商店的顾客数。易见，已知时间段[0,]t0内进入商店的顾客数Nt(0)，在时间段[0,]t(tt>0)内进入商店的顾客数Nt()等于Nt(0)加上在时间段(tt0,]内进入商店的顾客数N(t)-Nt(0)，而与时刻t0前进入商店的顾客无关。一、马尔可夫过程定义：给定随机过程{X(t),tTÎ}。如果对任意正整数n³3，任意的t12<t<LL<tni,tÎ=T,in1,,，任意的x11,L,,xSn-ÎS是Xt()的状态空间，总有P(Xn£xn|,X(t1)==x1LX(txnn--11))=P(Xn£xn|,X(tn--11)=Îxnn)xR则称{X(t),tTÎ}为马尔可夫过程。在这个定义中，如果把时刻tn-1看作“现在”，时刻tn是“将来”，时刻tt12,,Ln-是“过去”。马尔可夫过程要求：已知现在的状态X(txnn--11)=，过程将来的状态Xt(n)与过程过去的状态X(t1)==x1,,LX(txnn--22)无关。这就体现了马尔可夫过程具有无后效性。通常也把无后效性称为马尔可夫性。从概率论的观点看，马尔可夫过程要求，给定X(t1)==x1,,LX(txnn--11)时，Xt(n)的条件分布仅与X(txnn--11)=有关，而与X(t12),,LXt(n-)无关。二、马尔可夫链及其转移概率2马尔可夫链是参数离散、状态离散的最简单的马尔可夫过程。在马尔可夫链{X(t),tTÎ}中，一般取参数空间T={0,1,2,L}。马尔可夫链的状态空间E的一般形式是E={0,1,2,L}。1、马尔柯夫链定义：一个随机序列{X(t),t=1,2,3,…}取值于正整数空间E={0,1,2,……},或者为E的子集，如果有：P(X(tn)=xn|,X(t1)==x1LX(txnn--11))=P(X(tn)==xn|X(txnn--11))xi∈E={0,1,2,……};i=1,2,…则称为序列{X(t),tTÎ}为马尔柯夫(Markov)链。这种序列具有马尔可夫性，也叫无后致性。注意：t和i均取整数。2、马尔柯夫链的含义：可以这样理解：序列{Xt()}的“将来”只与“现在”有关而与“过去”无关。3、马尔柯夫链的状态：马尔柯夫链序列{Xt()}中的某一个符号X(ti)的数值一定为E中的某一个元素x（i或xj），这时，称xI(或xj)为随机序列的一个状态Si。4、马尔柯夫链的一步转移概率马尔柯夫(Markov)链的统计特性用条件概率（状态转移概率）来描述：习惯上把转移概率记做(1)P(X(t+1)=xn|X(t)=xn-1)=P(X(t+1|)=jX(t)=i)==pij(t)ptij()这称为马氏链的一步转移概率。为马尔柯夫链从状态i变为状态j的条件概率。它满足：(概率的加法公式)(1)pij(t)≥0ij∈Eåpij(t)1=ÎiEjEÎ5、马尔柯夫链的K步转移概率：其k步转移概率为：为马尔柯夫链从状态i经过k步（k个单位时间）后变为状态j的条件概率：()kP(X(t+k)=j|X(t)==i)ptij()它满足：(k)pij(t)≥0ij∈E()kåpij(t)1=ÎiEjEÎ6、平稳马尔柯夫链的性质：如果马尔柯夫链是平稳的，即与时刻无关，与t无关，我们讨论的马尔柯夫链只是这种最简单的情况。这种平稳马氏链称为齐次马氏链。由于这种齐次马尔柯夫链的转移概率与时间无关，因此去掉其时间变量t，(1)(k)(n)其中的一步转移概率为ppij=ij，k步转移概率为pij，n步转移概率为pij。定义：向量称为概率向量，如果满足：2u=(u1,,uu2,Ln)u3nuji³0,j==1,2,L,1nuåi=1定义3：若方阵P的每行都为概率向量，则称此方阵为概率矩阵。可以证明，如果矩阵A和B皆为概率矩阵，则AB,,ABkk也都是概率矩阵(k为正整数)由所有一步转移概率组成的矩阵称为一步转移概率矩阵表示为：æöp11pp121Lnç÷pppLP=ç÷21222nç÷M