《马尔可夫性与马尔可夫链》课件

《《马尔可夫性与马尔可夫链》课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、马尔可夫性与马尔可夫链2马尔可夫链定义：设{X(t)，tT}为随机过程，若对任意正整数n及t10，且条件分布P{X(tn)xn

2、X(t1)=x1,,X(tn-1)=xn-1}=P{X(tn)xn

3、X(tn-1)=xn-1}，则称{X(t)，tT}为马尔可夫过程。若t1,t2,,tn-2表示过去，tn-1表示现在，tn表示将来，马尔可夫过程表明：在已知现在状态的条件下，将来所处的状态与过去状态无关。3马尔可夫链马尔可夫过程通常分为三类：(1)时间、状态都是离散的，称为马尔可夫链(2)时

4、间连续、状态离散的，称为连续时间马尔可夫链(3)时间、状态都是连续的，称为马尔可夫过程4随机过程{Xn，nT}，参数T={0,1,2,},状态空间I={i0,i1,i2,}定义1若随机过程{Xn，nT}，对任意nT和i0,i1,,in+1I，条件概率P{Xn+1=in+1

5、X0=i0,X1=i1,,Xn=in}=P{Xn+1=in+1

6、Xn=in}，则称{Xn，nT}为马尔可夫链，简称马氏链。5定义2称条件概率pij(n)=P{Xn+1=j

7、Xn=i}为马尔可夫链{Xn，nT}在时刻n的一步转移概率，简称转移概率，其中i,jI。定义3若对任意的i,

8、jI，马尔可夫链{Xn,nT}的转移概率pij(n)与n无关，则称马尔可夫链是齐次的，并记pij(n)为pij。齐次马尔可夫链具有平稳转移概率，状态空间I={1,2,3,}，一步转移概率为6转移概率性质(1)(2)P称为一步转移概率矩阵7说明：二、基本性质性质1的联合分布可由初始分布及转移概率所决定，即有8则性质2表明一个马氏链，如果按相反方向的时间排列，所成的序列也是一个马氏链。9性质3表明若已知现在，则过去与未来是独立的。10则性质4表明若已知现在，则过去同时对将来各时刻的状态都不产生影响。特别11则性质5表明马氏链的子链也是马氏链12马尔可夫链的性质P{X0

9、=i0,X1=i1,,Xn=in}=P{Xn=in

10、X0=i0,X1=i1,,Xn-1=in-1}P{X0=i0,X1=i1,,Xn-1=in-1}=P{Xn=in

11、Xn-1=in-1}P{Xn-1=in-1

12、X0=i0,X1=i1,,Xn-2=in-2}P{X0=i0,X1=i1,,Xn-2=in-2}=P{Xn=in

13、Xn-1=in-1}P{Xn-1=in-1

14、Xn-2=in-2}P{X0=i0,X1=i1,,Xn-2=in-2}13==P{Xn=in

15、Xn-1=in-1}P{Xn-1=in-1

16、Xn-2=in-2}P{X1=i1

17、X0=i0}P{X

18、0=i0}马尔可夫链的统计特性完全由条件概率P{Xn+1=in+1

19、Xn=in}确定。14定义4称条件概率=P{Xm+n=j

20、Xm=i}为马尔可夫链{Xn，nT}的n步转移概率(i,jI,m0,n1)。n步转移矩阵其中15定理1设{Xn，nT}为马尔可夫链，则对任意整数n0,0l

21、率矩阵由一步转移概率矩阵确定(n次幂)19初始概率绝对概率初始分布绝对分布初始概率向量绝对概率向量定义520定理2设{Xn，nT}为马尔可夫链，则对任意整数i1,i2,,inI和n1，有性质证214.2切普曼-柯尔莫哥洛夫方程及状态分类例4.1天气预报问题RR表示连续两天有雨，记为状态0NR表示第1天无雨第2天有雨，记为状态1RN表示第1天有雨第2天无雨，记为状态2NN表示连续两天无雨，记为状态3p00=P{R今R明

22、R昨R今}=P{R明

23、R昨R今}=0.7p01=P{N今R明

24、R昨R今}=0p02=P{R今N明

25、R昨R今}=P{N明

26、R昨R今}=0.3p03=

27、P{N今N明

28、R昨R今}=0224.2切普曼-柯尔莫哥洛夫方程及状态分类类似地得到其他转移概率，于是转移概率矩阵为232步转移概率矩阵为24例4.2具有吸收壁和反射壁的随机游动状态空间{1,2,3,4}，1为吸收壁，4为反射壁状态转移图状态转移矩阵25状态的可达与互通状态i可达状态j，ij：存在n>0,使状态i与状态j互通，ij：ij且ji定理3可达关系与互通关系都具有传递性，即(1)若ij，jk，则ik(2)若ij，jk，则ik26证(1)ij，存在l>0，使jk，存在m>0，使由C-K方程所以ik(2)由(1