CH马尔可夫链与泊松过程课件.ppt

CH马尔可夫链与泊松过程课件.ppt

ID:57056096

大小:1.54 MB

页数:96页

时间:2020-07-30

CH马尔可夫链与泊松过程课件.ppt_第1页
CH马尔可夫链与泊松过程课件.ppt_第2页
CH马尔可夫链与泊松过程课件.ppt_第3页
CH马尔可夫链与泊松过程课件.ppt_第4页
CH马尔可夫链与泊松过程课件.ppt_第5页
资源描述:

《CH马尔可夫链与泊松过程课件.ppt》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、第7章马尔可夫链与泊松过程马尔可夫过程是研究信号多级传输、分子的布朗运动、顾客服务、计算机网络流量等等诸多问题时使用的经典模型。本章讨论:1)马尔可夫过程的基本概念2)转移概率与C-K方程3)状态分类及极限特性4)独立增量过程定义及性质5)泊松过程定义及相关问题第7章马尔可夫链与泊松过程7.1马尔可夫链7.2马尔可夫链的状态分类7.3独立增量过程7.4泊松过程7.1马尔可夫链第7章马尔可夫链与泊松过程7.1.1基本定义定义7.1随机序列的状态空间E为可数集,如果对任意,有:则称该序列是马尔可夫链(MarkovChain)。上式刻画了马尔可夫链的特性,称为马尔可夫性

2、(简称马氏性),也称无后效性。7.1马尔可夫链第7章马尔可夫链与泊松过程7.1.1基本定义定义7.2任取,则条件概率称为(n时刻的)一步转移概率(OneStepTransitionProbability)。如果在任意时刻n,都相同,则记为:称这时的马尔可夫链为齐次马尔可夫链。7.1马尔可夫链性质转移概率满足:为了直观地理解马尔可夫性,设想一质点在某直线的整数格点上随机运动的情形:表示在n时刻质点位于i位置这一随机事件,如果把时刻n看做现在,时刻0,1,2,…,n-1表示过去,时刻n+1表示将来,那么马尔可夫性表明:此时位于i的质点将来会出现在哪里与它过去曾经在哪些

3、位置停留过没有关系。简言之,将来完全由现在决定,与过去无关。转移概率表示质点在时刻n从位置i向j转移的可能性,而齐次性表明在所有时刻质点的转移特性是相同的。7.1马尔可夫链证明:例7.1设是独立随机序列,随机序列中,相邻两个随机变量满足递归方程:式中,。试证明随机序列是马尔可夫链。彼此独立,与独立,与独立,与独立。因此,上式的条件部分可如下简化:7.1马尔可夫链所以,是马尔可夫链。7.1马尔可夫链7.1马尔可夫链证明:级联的二进制传输信道中,前一节的输出即为后一节的输入。每节基本信道是彼此独立的,因此,在给定任意第n节输出X(n)的条件下,第n+1节的输出X(n+

4、1)不再依赖于第n节以前所有(0,1,2,…n-1)节的输出结果,即:所以,X(n)是马尔可夫链。又由于每节信道的转移概率都相同,所以,它是齐次的。7.1马尔可夫链(2)因为每节的转移概率是相同的,于是,一步转移概率为:7.1马尔可夫链7.1马尔可夫链7.1马尔可夫链例7.3在直线上有一质点作随机游动,质点在不同时刻k的随机运动Z(k),k=1,2,…是统计独立的,取值为{+1,0,-1},相应的取值概率为{p,r,q},p+r+q=1。质点初始时刻位于原点,n时刻的绝对位置为,试证明是马尔可夫链。证明:该式是例7.1中当函数时的一个特例。因此,是马尔可夫链。7.

5、1马尔可夫链它的一步转移概率矩阵为:状态转移图为:7.1马尔可夫链7.1.2转移概率与切普曼-科尔莫戈罗夫方程对n时刻的一步转移概率与一步转移概率矩阵做简单的扩展,可定义m时刻到n时刻的转移概率为:转移概率矩阵为:显然,该矩阵所有元素非负,并且任取第i行满足:7.1马尔可夫链7.1.2转移概率与切普曼-科尔莫戈罗夫方程定义7.3若是马尔可夫链,称行向量为n时刻的概率分布向量。对于,n时刻的概率分布可由全概率公式求出写成向量形式为:其中,是n时刻取i的概率。当n=0时,称p(0)为初始分布。7.1马尔可夫链定理7.1(切普曼-科尔莫戈罗夫方程)设,马尔可夫链的转移概

6、率满足:简称C-K(Chapman-Kolmogorov)方程。矩阵形式为:注:可由马尔可夫性和全概率公式证明7.1.2转移概率与切普曼-科尔莫戈罗夫方程7.1马尔可夫链证明:7.1马尔可夫链7.1马尔可夫链C-K方程的特点:如果马尔可夫链是齐次的,且一步转移概率矩阵为P,则可见:与绝对时刻无关,而只与两时刻之差有关,这时称转移概率是平稳的,并将它们简记为:分别称为k步转移概率和k步转移概率矩阵。这时,C-K方程表示为:定理7.2齐次马尔可夫链满足:7.1马尔可夫链7.1马尔可夫链解:所以,是马尔可夫链。该转移概率与n无关,7.1马尔可夫链7.1马尔可夫链7.1马

7、尔可夫链7.1马尔可夫链解:因为随机游动粒子的位置是马尔可夫过程,其状态空间E={0,1,2},由一步状态转移矩阵可得到如下的状态转移图:7.1马尔可夫链(2)根据齐次马尔可夫链的性质,可得:因此:时刻n处于状态0,时刻n+3处于各个状态的概率为:7.1马尔可夫链(3)根据齐次马尔可夫链的性质,可得:故有:时刻n处于状态0,时刻n+4处于各个状态的概率为:7.1马尔可夫链7.1马尔可夫链解:由状态转移图可知:进入状态0或3后,该链永远停留在那里,形象地称这两个状态为吸收壁或吸收态。由状态转移图可得一步转移矩阵为:7.1马尔可夫链7.1.3平稳分布与极限分布定义7.

8、4对于一步

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。