马氏链模型.ppt

马氏链模型(MarkovChainModel)随机过程被认为是概率论的“动力学”部分，即它的研究对象是随时间演变的随机现象，它是从多维随机变量向一族(无限多个)随机变量的推广。
给定一随机试验E，其样本空间S={e}，将样本空间中的每一元作如下对应，便得到一系列结果：4一维、二维或一般的多维随机变量的研究是概率论的研究内容，而随机序列、随机过程则是随机过程学科的研究内容。从前面的描述中看到，它的每一样本点所对应的，是一个数列或是一个关于t的函数。
678910例：气象案例的马尔可夫链表示称条件概率13如果把1这点改为吸收壁，即Q一旦到达1这一点，
则永远留在点1时，此时的转移概率矩阵为：例2排队模型
设服务系统由一个服务员和只可以容纳两个人的等候室组成。服务规则为：先到先服务，后来者需在等候室依次排队，假设一个需要服务的顾客到达系统时发现系统内已有3个顾客，则该顾客立即离去。
设时间间隔⊿t内有一个顾客进入系统的概率为q，有一接受服务的顾客离开系统(即服务完毕)的概率为p,又设当⊿t充分小时，在这时间间隔内多于一个顾客进入或离开系统实际上是不可能的，再设有无顾客来到与服务是否完毕是相互独立的。
现用马氏链来描述这个服务系统：
设Xn=X(n⊿t)表示时刻n⊿t时系统内的顾客数，即系统的状态。{Xn,n=0,1,2…}是一随机过程，状态空间I={0,1,2,3},它是一个齐次马氏链，它的一步转移概率矩阵为：例3某计算机机房的一台计算机经常出故障，研究者每隔15分钟观察一次计算机的运行状态，收集了24个小时的数(共作97次观察)，用1表示正常状态，用0表示不正常状态，所得的数据序列如下：
11100100111111100111101111110011111111100011
01101111011011010111101110111101111110011011
111100111
设Xn为第n(n=1,2,…,97)个时段的计算机状态，可以认为它是一个齐次马氏链.
求(1)一步转移概率矩阵;
(2)已知计算机在某一时段(15分钟)的状态为0，问在此条件下，从此时段起，该计算机能连续正常工作45分钟(3个时段)的条件概率.解:(1)设Xn为第n(n=1,2,…,97)个时段的计算机状态，
可以认为它是一个齐次马氏链，状态空间I={0,1}，
96次状态转移情况是：
0→0：8次；0→1：18次；
1→0：18次；1→1：52次；
因此一步转移概率可用频率近似地表示为：称条件概率马氏链的n步转移概率是一步转移概率的n次方,链的有限维分布可由初始分布和一步转移概率完全确定.解：同样，3天、4天或5天后的气象状态转移概率可通过计算3步、4步和5步转移矩阵得到：2425272829一.马氏链理论状态二.健康与疾病模型二.健康与疾病模型34二、健康与疾病模型36Xn+1只取决于Xn和pij,与Xn-1,…无关，状态转移具有无后
效性，由马氏链的基本方程有，给定a(0),预测a(n),n=1,2…383940414243状态另一种情况——三种状态4647n=input('n=')
A=zeros(3,n+1);
A(1,1)=input('a01=');
A(2,1)=input('a02=');
A(3,1)=1-A(1,1)-A(2,1);
fori=1:n
A(1,i+1)=0.8*A(1,i)+0.65*A(2,i)+0*A(3,i);
A(2,i+1)=0.18*A(1,i)+0.25*A(2,i)+0*A(3,i);
A(3,i+1)=0.02*A(1,i)+0.1*A(2,i)+1*A(3,i);
end
A状态1、正则链存在吸收状态
一旦到达就不会离开的状态
且从任一非吸收状态出发经有限次转移能以正概率到达吸收状态525354555657585960四、钢琴销售的存贮策略分析与假设状态转移规律则状态概率估计在这种策略下失去销售机会的可能性
第n周失去销售机会的概率估计这种策略下每周的平均销售量平均需求：每周1(架)附近波动时，结果有多大变化
设Dn服从均值为的柏松分布fori=1:10
lamda=0.5+0.1*i;
d(i,1)=poisspdf(0,lamda);d(i,2)=poisspdf(1,lamda);d(i,3)=poisspdf(2,lamda);
d(i,4)=poisspdf(3,lamda);d(i,5)=1-poisscdf(3,lamda);
p1=[d(i,1)01-d(i,1);d(i,2)d(i,1)1-d(i,1)-d(i,2);d(i,3)d(i,2)1-d(i,2)-d(i,3)]';
[V,D]=eig(p1);V1(i,:)=abs(V(:,1)/([111]*V(:,