应用随机过程--第五章.ppt

《应用随机过程--第五章.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第5章Markov链5.1基本概念直观意义：1.Markov链的定义定义5.1：定义5.2：定义5.3：2.转移概率注：有定义5.1知转移矩阵的性质：定义5.4：3.Markov链的例子例5.1：带有两个吸收壁的随机游动：此时是一齐次马氏链,状态空间为为两个吸收状态,它的一步转移概率为：例5.2：它的一步转移概率矩阵为：例5.3：例5.4：例5.5：4.n步转移概率C-K方程定义5.5（n步转移概率）定理5.1:(Chapman-Kolmogorov方程，简称C-K方程)例5.6：例5.7:(隐Markov模型）或者为正面或者为反面.在

2、任何给定时刻只有一枚硬呈现，但是有时硬币可能被替换而不改变其正反面.硬币M和W分别具有转移概率在任何给定时刻硬币被替换的概率为30%,替换完成时，硬币的状态不变.这一Markov链有4个状态，分别记为1:UM;2:DM;3:UW;4:DW.状态1、3表示正面U,状态2、4表示反面D转移矩阵为4×4的矩阵.我们可以计算转移概率,比如,首先(无转移),而后(无转移).因此转移概率为其他转移概率类似可得，转移方式为转移概率矩阵为例5.8:带有两个反射壁的随机游动：此时是一齐次马氏链,状态空间为为两个反射状态,求它的一步转移概率。作业1：作业2

3、:5.3状态的分类及性质引入：定义5.7注：定理5.3：注：定义5.8:例1：定义5.9(周期性)规定：例2(书5.14)注1：注2：定理5.4：证明：板书。注:当两个状态的周期相同时，有时其状态之间有显著差异。如：定义5.10:(常返性)注2：注3：注1：例3定义5.11例4引理5.1（）定理5.5引理5.2定理5.6作业1：闭集及状态空间的分解定理闭集：相关性质：任何两个状态均互通所有常返态构成一个闭集在不可约马氏链中,所有状态具有相同的状态类型.状态空间分解定理：定理5.7：例5例6：作业1：周期链分解定理：定理5.8：5.4极限

4、定理与不变分布5.4.1极限定理例8（书例5.17）(0-1传输系统）45推论设i常返，则(1)i零常返(2)i遍历定理5.9设i常返且有周期为d，则其中i为i的平均返回时间.当i=时46证:(1)i零常返,i=,由定理5.9知，对d的非整数倍数的m，从而子序列i是零常返的47(2)i是遍历的，d=1，i<，子序列所以d=1，从而i为非周期的，i是遍历的定理5.10结论：(a)所有非常返状态组成的集合不可能是闭集;(b)没有零常返状态;(c)必有正常返状态;(d)不可约有限马氏链只有正常返态;(e)状态空间可以分解

5、为:其中：每个均是由正常返状态组成的有限不可约闭集，是非常返态集。51注1：有限状态的马氏链，不可能全是非常返状态，也不可能含有零常返状态，从而不可约的有限状态的马氏链必为正常返的。证设S={0,1,,N}，如S全是非常返状态，则对任意i,jI，知故矛盾。如S含有零常返状态i，则C={j:ij}是有限不可约闭集，由定理知，C中均为零常返状态，知52由引理知所以53注2:如马氏链有一个零常返状态，则必有无限多个证设i为零常返状态，则C={j:ij}是不可约闭集，C中均为零常返状态，故C不能是有限集。否则零常返状态。54称概率分布{

6、j,jI}为马尔可夫链的平稳分布（不变分布），若设{Xn,n0}是齐次马尔可夫链，状态空间为I，转移概率为pij5.4.2不变分布(平稳分布)与极限分布定义5.12一、不变分布(平稳分布)55注：(1)若初始概率分布{pj,jI}是平稳分布，则(2)对平稳分布{j,jI}，有矩阵形式=其中=(j)，()pj=pj(1)=pj(2)==pj(n)56二、遍历性的概念与极限分布对于一般的两个状态的马氏链,由上节内容可知,意义对固定的状态j,不管链在某一时刻的什么状态i出发,通过长时间的转移到达状态j的概率都趋定义5.1

7、358或定义则称此链具有遍历性.定理5.1360定理不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布推论2若不可约马尔可夫链的所有状态是非常返或零常返，则不存在平稳分布.推论1有限状态的不可约非周期马尔可夫链必存在平稳分布。61推论3若{j,jI}是马尔可夫链的平稳分布，则所取的值与初始状态的分布无关。证：由于：故62例1设马尔可夫链的转移概率矩阵为求马尔可夫链的平稳分布及各状态的平均返回时间。即，经过无穷次转移后处于状态的概率与初始状态无关，与初始状态的分布也无关。63解因为马尔可夫链是不可约非周期

8、有限状态的，所以平稳分布存在，设则=P，1+2+3=1.即各状态的平均返回时间为=(1,2,3)64例2设马尔可夫链转移概率矩阵为求每一个不可约闭集的平稳分布。65解从状态转移图看出，状态