马尔可夫过程与泊松过程.ppt

《马尔可夫过程与泊松过程.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第六章马尔可夫过程马尔可夫过程在电子系统中，是研究热噪声和散弹噪声的数学基础，在通信系统中，是研究多级传输、网络传输等诸多问题时，需要用到的重要随机过程。马尔可夫过程是一类重要的随机过程，广泛应用在近代物理、生物（生灭过程）、公用事业、信号处理、自动控制等方面。马尔可夫过程马尔可夫性(无后效性)：当随机过程在时刻所处的状态已知时，过程在时刻所处的状态仅与过程在时刻的状态有关，而与过程在时刻以前所处的状态无关。1.马尔可夫链时间离散，状态离散；2.离散马尔可夫过程时间连续，状态离散；3.马尔可夫序列时间离散，状态连续；4

2、.连续马尔可夫过程时间连续，状态连续。马尔可夫过程分类：马尔可夫马尔可夫过程6.1马尔可夫链6.3马尔可夫过程6.4独立增量过程马尔可夫过程独立增量过程正交增量过程泊松过程维纳－列维过程独立随机过程6.1马尔可夫链主要内容：马尔可夫（Markov）链马尔可夫链的定义及一般特性齐次马尔可夫链平稳马尔可夫链及其求解马尔可夫链状态分类马尔可夫链的遍历性一、定义及一般特性6.1马尔可夫链状态和时间参量都是离散的随机过程，若过程在时刻tm+k变成任一状态的概率，只与过程在tm时刻的状态有关，而与过程在tm时刻以前的状态无关，则该

3、过程称马尔可夫链。定义一、定义及一般特性6.1马尔可夫链典型马尔可夫链一维随机游动0031245671234++++++一、定义及一般特性6.1马尔可夫链典型马尔可夫链二元通信信道01011－1－一、定义及一般特性6.1马尔可夫链马尔可夫链的一般特性状态概率：概率分布列：状态转移概率：转移矩阵：一、定义及一般特性6.1马尔可夫链马尔可夫链的性质(1)(3)(4)(2)一、定义及一般特性马尔可夫链的性质(5)切普曼－柯尔莫哥洛夫方程ttstrtnxs=aixn=aja1aNakpkj(r,n)pik(s,r)几何

4、解释二、齐次马尔可夫链6.1马尔可夫链如果马尔可夫链的转移概率只取决于n-s，而与n和s本身的值无关，则称为齐次马尔可夫链，简称齐次链。一步转移概率：n-s步转移矩阵：对于齐次马尔可夫链，状态概率由初始概率和一步转移概率决定。即利用初始分布和一步转移概率矩阵就能完整地描述齐次马尔可夫链的统计特性。二、齐次马尔可夫链6.1马尔可夫链令，利用切普曼方程，有二、齐次马尔可夫链例1分析用于表征通信系统的错误产生机制的马尔可夫模型，假定其级数为2，求二步转移概率矩阵。三、平稳链6.1马尔可夫链如果齐次链中所有时刻的状态概率分布列

5、相同，即：则此齐次链是平稳的。对于齐次链：由切普曼-柯尔莫哥洛夫定理三、平稳链如果齐次链的状态概率都相同，即p(n)=p(1)，则称为平稳链只要p(2)=p(1),则必定p(n)=p(1)因为p(n)=PT(s,n)p(s)，所以p(2)=PT(1,2)p(1)或者p(2)=PT(1)p(1)p(3)=PT(2,3)p(2)p(3)=PT(1)p(2)=PT(1)p(1)=p(2)=p(1)对于平稳链:三、平稳链平稳链状态概率的计算在方程,中取N-1个方程求出N个未知数三、平稳链平稳链状态概率的计算0-2L2L-LL例

6、2：具有反射壁的随机游动。设有一质点在线段上游动，终端设有反射壁。质点只能停留在上，游动的概率法则如下：如果游动前质点在位置，则以1/2概率向前或向后移动一单位L，在位置，则以概率1游动到，在位置，则以概率1游动到，画出状态转移图，并求概率分布列。三、平稳链平稳链状态概率的计算计算举例----反射壁三、平稳链平稳链状态概率的计算上例中反射壁换成吸收壁四、状态分类6.1马尔可夫链1、到达和相通如果对于状态ai与aj(简写为i与j)，总存在某个n(n1)，使得Pij(n)>0，即：由状态i出发，经n步转移以正的概率到达状

7、态j，则称自状态i可达状态j，记为此时对任意的n(n1)，总有无限制的随机游动，每个状态都是可到达的，带吸收壁的随机游动，吸收壁状态不能到达任何其它状态。反之，i不能到达j，记为四、状态分类6.1马尔可夫链1、到达和相通设两状态i与j，由状态i可达状态j，从状态j也可达状态i，则称状态i与j相通，记为:无限制的随机游动，所有状态都是相通的，带吸收壁的随机游动，除吸收壁外，其余状态都是相通的。性质：到达具有传递性。即：若ir，rj，则ij。相通具有传递性。即：若ir，rj，则ij。四、状态分类6.1马尔可夫

8、链1、到达和相通设两状态i与j，由状态i可达状态j，从状态j也可达状态i，则称状态i与j相通，记为:无限制的随机游动，所有状态都是相通的，带吸收壁的随机游动，除吸收壁外，其余状态都是相通的。性质：到达具有传递性。即：若ir，rj，则ij。相通具有传递性。即：若ir，rj，则ij。四、状态分类2、状态空间的分解设CI，