预览加载中，请您耐心等待几秒...

连续时间马尔可夫链.pdf

预览
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲，该文档总共19页，到这已经超出免费预览范围，如果喜欢就直接下载吧～

下载提示 文本预览

如果您无法下载资料，请参考说明：

1、部分资料下载需要金币，请确保您的账户上有足够的金币

2、已购买过的文档，再次下载不重复扣费

3、资料包下载后请先用软件解压，在使用对应软件打开

5连续时间马尔可夫链 5.1引言 本章中我们考虑与离散时间马尔可夫链类似的连续时间马尔可夫链。如离散 情形一样，它们由马尔可夫性刻画，即已知现在的状态时将来与过去独立。 在5.2节中。我们定义连续时间马尔可夫链且把它们与第四章的离散时间马 尔可夫链相联系。在5.3节中，我们引入一类重要的连续时间马尔可夫链，即所 谓生灭过程。这些过程可用作在任何时刻其总量的变化仅为一个单位的群体的模 型。在5.4节中，我们导出两组描述系统的概率规律的微分方程——向前与向后 方程。5.5节的内容是确定连续时间马尔可夫链的有关的极限（或长时间后的） 概率。在5.6节中，我们考虑时间可逆的问题。其中，我们证明一切生灭过程是 时间可逆的，而后阐明这事实对于排队系统的重要性。在这一节中也提供了时间 可逆性对随机群体模型的应用。在5.7节中，我们阐明逆向链的重要性，即使过 程不是时间可逆的。利用它我们研究排队网络模型。导出爱尔朗消失公式，分析 共用加工系统。5.8节中我们表面如何“一致化”马尔可夫链——对于数值计算 有用的一种技巧。 5.2连续时间马尔可夫链 考虑取非负整数值的连续时间随机过程Xt,t0，与第四章中给出的离 散时间马尔可夫链的定义类似，过程Xt,t0称为连续时间马尔可夫链，如 果对一切s,t0及非负整数i,j，xu，0us，有 PXtsj|Xsi,Xuxu,0us PXtsj|Xsi 换言之，连续时间马尔可夫链是具有马尔可夫性的随机过程，即已知现在s时是 状态及一切过去的状态的套件下在将来时刻ts的状态的条件分布只依赖现在 的状态而与过去独立。若又有PXtsj|Xsi与s无关则称连续时间马 尔可夫链具有平稳的或其次的转移概率。将假定我们所考虑的马尔可夫链都有平 稳转移概率。 假设在某时刻，比如说时刻0，马尔可夫链进入状态i，而且假设在接下来 的s个单位时间中过程未离开状态i（即未发生转移）。在随后的t个单位时间中 过程仍不离开状态i的概率是多少呢？为了回答这个问题。注意到因为在时间s 过程处于状态i，从马尔可夫性得在区间s,st中它仍然处于状态i的概率正是 他处于状态i至少t个单位时间的（无条件）概率。也即若以记过程在转移到 i 另一状态之前停留在状态i的时间，则对一切s,t0有 Pst|sPt iii 因此，随机变量是无记忆的必有指数分布。 i 事实上，上面的讨论给了我们构造连续时间马尔可夫链的一个方法。也即它 是一个具有如下性质的随机过程，每当它进入状态i： (i)在转移到另一状态之前处于状态i的时间服从指数分布，参数为v i (ii)当过程离开状态i时，接着以某个概率。譬如P，进入状态就j，P1。 ijij ji v的状态i称为瞬时状态。因为一旦进入此状态立即就离开。尽管这种 i 状态在理论上是可能的，我们将始终假设对一切i，0v。（如果v0， ii 则称状态i为吸收的，因为一旦进入这一状态就永不再离开了。）因此，实际上 一个连续时间马尔可夫链是一个这样的随机过程，它按照一个（离散时间）的马 尔可夫链从一个状态转移到另一个状态，但在转移到下一状态之前，他在各个状 态停留的时间服从指数分布。此外在状态i过程停留的时间与下一个到达的状态 必须是独立的随机变量。因为若下一个到达的状态依赖于，那么过程处于状态 i i已有多久的信息与下一个状态的预报有关——这就与马尔可夫假定矛盾了。 一个连续时间马尔可夫链称为规则的，若以概率1在任意有限时间内的转移 次数是有限的。一个非规则的马尔可夫链的例子是 P1vi2 i,i1i 能够证明这个马尔可夫链总是从状态i到i1，停留在状态i的时间服从均值为 1/i2的指数分布，它将以正的概率在任意长为t，（t0）的时间区间内作无限 多次转移。然而我们从现在起将假设所考虑的全部马尔可夫链是规则的（在习题 中将给出规则性的某些充分条件）。 对一切ij，q定义为 ij qvP ijiij 因为v是过程离开状态i的速率而P是它转移到j的概率，所以q是过程从状态 iijij i转移到状态j的速率；事实上我们就称q是从i到j的转移速率。 ij 以Pt记马尔可夫链现在处于状态i，再经过一段时间t后处于状态j的概 ij 率，即 PtPXtsj|Xsi ij 5.3生灭过程 具有状态0,1，的连续时间马尔可夫链称为生灭过程，若ij1时q0。 ij 于是一个生灭过程是一个连续时间马尔可夫链，具有状态0,1,，它从状态i只 能转移到状态i1或i1。过程的状态通常看作为某个群体的总量，当状态增长 1时，我们就说生了一个；而当它减少1时，我们就说死了一个。设与为 ii q ii,i1 q ii,i1 值,i0与,i1分别称为生长率与死亡率。因为qv，可见 iiiji ji v iii Pi1