马尔科夫链例题整理(课堂PPT).ppt

若表示质点在时刻n所处的位置，分析它的概率特性。若表示质点在时刻n所处的位置，求一步转移概率。例2．带有反射壁的随机游动p例3．一个圆周上共有N格（按顺时针排列），一个质点在该圆周上作随机游动，移动的规则是：质点总是以概率p顺时针游动一格，以概率逆时针游动一格。试求转移概率矩阵。4．一个质点在全直线的整数点上作随机游动，移动的规则是：以概率p从i移到i-1，以概率q从i移到i+1，以概率r停留在i，且，试求转移概率矩阵。5．设袋中有a个球，球为黑色的或白色的，今随机地从袋中取一个球，然后放回一个不同颜色的球。若在袋里有k个白球，则称系统处于状态k，试用马尔可夫链描述这个模型（称为爱伦菲斯特模型），并求转移概率矩阵。练习题．扔一颗色子，若前n次扔出的点数的最大值为j，就说试问是否为马氏链？求一步转移概率矩阵。12解（2）二步转移概率矩阵（3）分析考虑质点从j出发移动一步后的情况于是当故用同样的方法可以求得乙先输光的概率例3排队问题解所以转移矩阵为定理4.3马尔科夫链的有限维分布：练习：马氏链的状态空间I={1，2，3}，初始概率为例4解所以9月份市场占有率分布为2/3例213．常返态与瞬时态5．正常返态与零常返态用极限判断状态类型的准则例3从图可知，此链的每一状态都可到达另一状态，即4个状态都是相通的。三、状态的周期与遍历例4从图可知，对任一状态都有，1/3可讨论状态1状态1是常返态例1所以例2解由状态传递图也可以利用定理1证明遍历性解之得（4）例3解所以9月份市场占有率分布为（4）由于该链不可约、非周期、状态有限正常返的，所以是遍历的。例4(书中69页例4.18）的平稳分布得