《markov过程》ppt课件

《《markov过程》ppt课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章Markov过程第一节Markov链的定义和例子定义3.1如果对任何一列状态及对任何，随机过程满足Markov性质：则称为离散时间Markov链。定义3.2设为一离散时间Markov链。给定在状态时处于状态的条件概率称为Markov链的一步转移概率，记作。当这一概率与n无关时称该Markov链有平稳转移概率，并记之为，对应Markov链称为时齐Markov链。记n步转移概率为，以为元的矩阵记作，称为Markov链的n步转移概率矩阵。定理3.1Markov链的n步转移概率矩阵满足，在上式中我们定。例3.1（一维随机游动）

2、设一质点在直线上的点集上作随机游动，每秒钟发生一次游动，游动规则是：如果质点处于2，3，4点处，则在下一秒钟，质点均以的概率向左，右移动一单位或停留在原处；如果质点处于1处，则在下一秒钟以概率1移动到2处；如果质点处于5处，则在下一秒钟以概率1移动到4处．因为质点不可越出1，5两点，故称为不可越壁的随机游动．用表示在时刻n质点的位置，则是—个齐次马氏链．(1)试写出它的一步转移矩阵和二步转移矩阵；(2)若初始分布为，试求在时的绝对分布．解：(1)一步转移矩阵二步转移矩阵（2）例3.2设建筑物受到地震的损害程度为齐次马氏链，按

3、损害程度分为5种状态：无损害称为处于状态1，轻损害称为处于状态2，中等损害称为处于状态3，严重损害称公处于状态4，全部倒塌称为处于状态5．设一步转移矩阵为初始分布为试求接连发生两次地震时，该建筑物的各状态的概率分布，指出接连发生两次地震后，该建筑物完全倒塌的概率为多少?严重损害概率为多少?中等以上损害概率为多少?解：时的绝对分布为从而知接连发生两次地震后，建筑物完全倒塌的概率为严重损害的概率为中等以上损害的概率为：例3.3(0－l传输系统)一个通信传输系统，通过n个阶段传输数字0和1，设在每一个阶段被下一个阶段接受的数字仍与

4、这—阶段相同的转移概率为，且记第n阶段被接受到的数为则是一个齐次马氏链，其一步转移概率矩阵为(1)设求系统经过二级传输后的传真率和四级传输后的误码率(输入和输出相同的概率为传真率，相反的情况称误码率)．(2)设又设初始分布为，若己知系统经过n级传输后的输出为l，问原发信号也为l的概率为多少？解(1)由可知系统二级传输后的传真率为：系统四级传输后的误码率为：（2）根据贝叶斯公式，当已知系统经过n级传输后输出为1，原发信号也为1的概率为：第二节Markov链的状态分类3.2.1互达性和周期性定义3.3可达与互达．如果对某一，有则

5、称状态是从状态可达的记作，它表示从状态经过有限步的转移可以到达状态。两个互相可达的状态和则称为是互达的记作.命题3.1互达性是等价关系1)自反性，2)若，则，对称性，3)若，则，则，传递性。两个状态如果是互达的就称他们是处在同一类中．Markov链的所有状态就由互达这一等价关系而分割成不同的等价类．由命题3.1我们立刻知道两个类要么互不相交，要么完全重合．如果在互达性这一等价关系下Markov链的所有状态都居于同一类那么就称这个Markov链是不可约的．换言之，不可约过程的各个状态都是互达的．例3.4若Markov链有转移概

6、率矩阵则显见和是状态在互达意义下的两个等价类。这个链是可约的。可以把它分成两个链来研究。定义3.4状态的周期．为Markov链的一个状态，使的所有的最大公约数称作是状态的周期记作．如果对所有，都有则约定周期为；的状态称为是非周期的．由定义立即可知如不能被周期整除则必有．例3.6Markov链有状态o，1，2，3和转移概率阵试求状态0的周期。解：不难直接算出而。而的最大公约数为2。所以命题3.2如果则命题3.3如果状态有周期，则存在整数使得对所有的恒有推论3.1如果，则存在正整数使得对恒有。命题3.4令为不可约、非周期、有限状

7、态Markov链的转移概率矩阵．则必存在使得当时n步转移概率阵的所有元素都非零．3.2.2常返与瞬过引入一个重要的概率，它表示从出发在n步转移时首次到达的概率。即：记，它是从出发最终转入状态的概率。定义3.4如果我们称状态是常返的，一个非常返状态就称为是瞬过的．定理3.2状态常返的充分必要条件是当然与此等价地有，状态是瞬过的当且仅当推论3.2如果是常返的，且，则也是常返的定义3.5一个常返状态当且仅当时称为是零常返的．而当且仅当时称为正常返的．例3.7设马氏链的状态空间为，其一步转移概率矩阵为试讨论该马氏链各状态的常返性。解

8、：步转移概率矩阵为：由得：因此状态1，2，4都是常返态，状态3是非常返态。当时，都不趋于0。所以状态1，2，4都是正常返态。第三节Markov链的极限定理与平稳分布定理3.3Markov链的基本极限定理a)若状态是瞬过的或者是零常返的，则b)若状态是周期为的常返状态，则c)当状态是非周期的