随机过程ch4-马尔科夫链new

《随机过程ch4-马尔科夫链new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章马尔可夫链4.1马尔可夫链与转移概率定义设{X(t)，tT}为随机过程，若对任意正整数n及t0，且条件分11n-1n-1布P{X(t)x

2、X(t)=x,,X(t)=x}=nn11n-1n-1P{X(t)x

3、X(t)=x}，则称{X(t)，tnnn-1n-1T}为马尔可夫过程。☆若t,t,,t表示过去，t表示现在，t12n-2n-1n表示将来，马尔可夫过程表明：在已知现在状态的条件下，将来所处的状态与过去状态无关。24.1马尔可夫链与转移概率马尔可夫过程通常分为三类：(

4、1)时间、状态都是离散的，称为马尔可夫链(2)时间连续、状态离散的，称为连续时间马尔可夫链(3)时间、状态都是连续的，称为马尔可夫过程34.1马尔可夫链与转移概率随机过程{Xn，nT}，参数T={0,1,2,},状态空间I={i0,i1,i2,}定义若随机过程{Xn，nT}，对任意nT和i0,i1,,in+1I，条件概率P{Xn+1=in+1

5、X0=i0,X1=i1,,Xn=in}=P{Xn+1=in+1

6、Xn=in}，则称{Xn，nT}为马尔可夫链，简称马氏链。44.1马尔可夫链与转移概率马尔可夫链的性质P{X=i,X=i

7、,,X=i}0011nn=P{X=i

8、X=i,X=i,,X=i}nn0011n-1n-1P{X=i,X=i,,X=i}0011n-1n-1=P{X=i

9、X=i}nnn-1n-1P{X=i

10、X=i,X=i,,X=i}n-1n-10011n-2n-2P{X=i,X=i,,X=i}0011n-2n-2=P{X=i

11、X=i}P{X=i

12、X=i}nnn-1n-1n-1n-1n-2n-2P{X=i,X=i,,X=i}0011n-2n-254.1马尔可夫链与转移概率==P{X=i

13、X=i}P{X=i

14、X=i}nnn-1n-1n-1n-1n-2n

15、-2P{X=i

16、X=i}P{X=i}110000马尔可夫链的统计特性完全由条件概率P{X=i

17、X=i}确定。n+1n+1nn64.1马尔可夫链与转移概率定义称条件概率pij(n)=P{Xn+1=j

18、Xn=i}为马尔可夫链{Xn，nT}在时刻n的一步转移概率，简称转移概率，其中i,jI。定义若对任意的i,jI，马尔可夫链{Xn,nT}的转移概率pij(n)与n无关，则称马尔可夫链是齐次的，并记pij(n)为pij。齐次马尔可夫链具有平稳转移概率，系统状态空间I={1,2,3,}，系统状态的一步转移概率用转移矩阵P表示74.1马尔

19、可夫链与转移概率p11p12p1nppp21222nPpm1pm2pmn转移概率性质p0,i,jIpij1,iI(1)ij(2)jI当转移矩阵P满足（1）、（2）两性质时，则称P为随机矩阵84.1马尔可夫链与转移概率(n)定义称条件概率pij=P{Xm+n=j

20、Xm=i}为马尔可夫链{X，nT}的n步转移概n率(i,jI,m0,n1)。n(n)n步转移矩阵Ppij(n)(n)如果其中pij0,pij1,i,jIjIP(n)也为随机矩阵(1

21、)(1)当n1时,pp,PPijij0,ij(0)当n0时，规定pij1,ij94.1马尔可夫链与转移概率定理4.1设{X，nT}为马尔可夫链，n则对任意整数n0,0l

22、XiijmnmPX

23、imPXi,Xk,XjPXi,XkmmlmnmmlkIPXmi,XmlkPXmiPXmnj

24、XmlkPXmlk

25、XmikI(nl)(l)(l)(nl)pkj(ml)pik(m)pikpkjkIkI114.1马尔可夫链与转移概率(n)(1)(n1)(2)在(1)中令l=1,k=k1,得pijpik1pk1jkI由此可递推出公式(3)矩阵乘法(4)由(3)推出说明：(1)此为C-K方程(切普曼-柯尔莫哥洛夫)(2)n步转移概率由一步转移概率确定，n步

26、转移概率矩阵由一步转移概率矩阵确定(n次幂)124.1马尔可夫链与转移概率定义pP{Xj}j0初始概率p(n)P{Xj}绝对概率jnpj