CH马尔可夫链与泊松过程课件.ppt

《CH马尔可夫链与泊松过程课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第7章马尔可夫链与泊松过程马尔可夫过程是研究信号多级传输、分子的布朗运动、顾客服务、计算机网络流量等等诸多问题时使用的经典模型。本章讨论：1）马尔可夫过程的基本概念2）转移概率与C-K方程3）状态分类及极限特性4）独立增量过程定义及性质5）泊松过程定义及相关问题第7章马尔可夫链与泊松过程7.1马尔可夫链7.2马尔可夫链的状态分类7.3独立增量过程7.4泊松过程7.1马尔可夫链第7章马尔可夫链与泊松过程7.1.1基本定义定义7.1随机序列的状态空间E为可数集，如果对任意，有：则称该序列是马尔可夫链（MarkovChain）。上式刻画了马尔可夫链的特性，称为马尔可夫性

2、（简称马氏性），也称无后效性。7.1马尔可夫链第7章马尔可夫链与泊松过程7.1.1基本定义定义7.2任取，则条件概率称为（n时刻的）一步转移概率（OneStepTransitionProbability）。如果在任意时刻n，都相同，则记为：称这时的马尔可夫链为齐次马尔可夫链。7.1马尔可夫链性质转移概率满足：为了直观地理解马尔可夫性，设想一质点在某直线的整数格点上随机运动的情形：表示在n时刻质点位于i位置这一随机事件，如果把时刻n看做现在，时刻0,1,2,…,n-1表示过去，时刻n+1表示将来，那么马尔可夫性表明：此时位于i的质点将来会出现在哪里与它过去曾经在哪些

3、位置停留过没有关系。简言之，将来完全由现在决定，与过去无关。转移概率表示质点在时刻n从位置i向j转移的可能性，而齐次性表明在所有时刻质点的转移特性是相同的。7.1马尔可夫链证明：例7.1设是独立随机序列，随机序列中，相邻两个随机变量满足递归方程：式中，。试证明随机序列是马尔可夫链。彼此独立，与独立，与独立，与独立。因此，上式的条件部分可如下简化：7.1马尔可夫链所以，是马尔可夫链。7.1马尔可夫链7.1马尔可夫链证明：级联的二进制传输信道中，前一节的输出即为后一节的输入。每节基本信道是彼此独立的，因此，在给定任意第n节输出X(n)的条件下，第n+1节的输出X(n+

4、1)不再依赖于第n节以前所有(0,1,2,…n-1)节的输出结果，即：所以，X(n)是马尔可夫链。又由于每节信道的转移概率都相同，所以，它是齐次的。7.1马尔可夫链（2）因为每节的转移概率是相同的，于是，一步转移概率为：7.1马尔可夫链7.1马尔可夫链7.1马尔可夫链例7.3在直线上有一质点作随机游动，质点在不同时刻k的随机运动Z(k),k=1,2,…是统计独立的，取值为{+1,0,-1}，相应的取值概率为{p,r,q}，p+r+q=1。质点初始时刻位于原点，n时刻的绝对位置为，试证明是马尔可夫链。证明：该式是例7.1中当函数时的一个特例。因此，是马尔可夫链。7.

5、1马尔可夫链它的一步转移概率矩阵为：状态转移图为：7.1马尔可夫链7.1.2转移概率与切普曼-科尔莫戈罗夫方程对n时刻的一步转移概率与一步转移概率矩阵做简单的扩展，可定义m时刻到n时刻的转移概率为：转移概率矩阵为：显然，该矩阵所有元素非负，并且任取第i行满足：7.1马尔可夫链7.1.2转移概率与切普曼-科尔莫戈罗夫方程定义7.3若是马尔可夫链，称行向量为n时刻的概率分布向量。对于，n时刻的概率分布可由全概率公式求出写成向量形式为：其中，是n时刻取i的概率。当n=0时，称p(0)为初始分布。7.1马尔可夫链定理7.1（切普曼-科尔莫戈罗夫方程）设，马尔可夫链的转移概

6、率满足：简称C-K（Chapman-Kolmogorov）方程。矩阵形式为：注：可由马尔可夫性和全概率公式证明7.1.2转移概率与切普曼-科尔莫戈罗夫方程7.1马尔可夫链证明：7.1马尔可夫链7.1马尔可夫链C-K方程的特点：如果马尔可夫链是齐次的，且一步转移概率矩阵为P，则可见：与绝对时刻无关，而只与两时刻之差有关，这时称转移概率是平稳的，并将它们简记为：分别称为k步转移概率和k步转移概率矩阵。这时，C-K方程表示为：定理7.2齐次马尔可夫链满足：7.1马尔可夫链7.1马尔可夫链解：所以，是马尔可夫链。该转移概率与n无关，7.1马尔可夫链7.1马尔可夫链7.1马

7、尔可夫链7.1马尔可夫链解：因为随机游动粒子的位置是马尔可夫过程，其状态空间E={0,1,2}，由一步状态转移矩阵可得到如下的状态转移图：7.1马尔可夫链（2）根据齐次马尔可夫链的性质，可得：因此：时刻n处于状态0，时刻n+3处于各个状态的概率为：7.1马尔可夫链（3）根据齐次马尔可夫链的性质，可得：故有：时刻n处于状态0，时刻n+4处于各个状态的概率为：7.1马尔可夫链7.1马尔可夫链解：由状态转移图可知：进入状态0或3后，该链永远停留在那里，形象地称这两个状态为吸收壁或吸收态。由状态转移图可得一步转移矩阵为：7.1马尔可夫链7.1.3平稳分布与极限分布定义7.

8、4对于一步