马尔科夫过程.ppt

马尔可夫过程马尔可夫序列二、马尔可夫序列的性质2、一个马尔可夫序列按其相反方向组成的逆序列仍为马尔可夫序列。即对于任意的整数n和k,有3若4、如果条件概率密度三、马尔可夫链2、马尔可夫链的转移概率及性质（二）n步转移概率3．切普曼-柯尔莫哥洛夫方程（C-K方程）例2-1在某数字通信系统中多级传输0、1两种数字信号。由于系统中存在干扰，在任一级输入0、1数字信号后，其输出不产生错误的概率为p，产生错误的概率为q=1-p，求两级传输时的概率转移矩阵。4．初始分布与绝对分布定理3马氏链的绝对概率由初始分布和相应的转移概率唯一确定。由马氏链的转移概率和初始分布，不仅可以完全确定其绝对分布，也可以完全确定其有限维分布。四、马尔科夫链中的状态分类例2设一两状态的马氏链具有以下转移概率矩阵2．状态的分类定义3设为一马氏链，对任一状态i与j，称定理4对任何状态定义4如果，则称状态j是常返的。如果，则称状态j是非常返的（或称为瞬时的）。如果马尔可夫链的任一状态都是常返的，则称此链为常返马尔可夫链。定理6状态i为常返（）的充要条件为设i是一常返态，则从i出发可经过n步首次返回i，在的条件下的分布列为定理7设j为常返状态，有周期,则状态分类判别法：引理1对任意i和j，若，则存在正数、及正整数l、m，使对任一正整数n，有3．遍历性与平稳分布对平稳分布，有例1-23设马尔可夫链的状态空间，一步转移概率矩阵五、状态空间分解定理11（分解定理）状态空间E必可分解为其中N是全体非常返态组成的集合，是互不相交的常返态闭集组成。而且例1-25设齐次马氏链的状态空间，其一步转移概率矩阵为解：根据一步转移概率矩阵，可画出如图所示的状态转移图。1.7泊松过程一、泊松过程的一般概念图1-14（a）给出了泊松过程图1-14（a）泊松过程得示意图；（b）泊松增量；（c）泊松冲激序列二、泊松过程的统计量而方差为经过简单运算后，可得若随机点具有非均匀密度三、泊松增量对于四、泊松冲激序列五、过滤的泊松过程与散粒噪声经分析可知，若在[0,T)内输入到滤波器的冲激脉冲数N(T)为k，则该k个冲激脉冲出现的时间均为独立同分布的随机变量，且此随机变量均匀分布在[0,T)内，即散粒噪声X(t)的统计特性2．对于非均匀的情况，即随机点密度不是常数，则X(t)的均值与自协方差函数分别为六、电报信号2.随机电报信号