南邮 随机过程课件 4

《南邮 随机过程课件 4》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章第四章马尔可夫链第四章马尔可夫链§§§4.1马尔可夫链的概念及转移概率1.定义：若过程X(t)在m+k时刻处在任一状态a的概率,只与过程在m时刻的状态有关,而与i一一一、一、、、马尔可夫链的概念马尔可夫链的概念m+k1.马尔可夫链定义过程在m时刻以前的状态无关,即条件概率满足：假定马尔可夫过程X(t)的状态空间为I={a,a,L},2.一步转移概率及多步转移概率12{}PX=a/X=a,X=a,L,X=a而X()t在每一时刻t(n=,2,1,0L),所处状态记为：m+kim+kmimm-1im-11i13.Chapman-K

2、olmogorov方程{}=PX=a/X=aX(n)=X，则所能取的状态必为a,a,L之一，m+kim+kmim4.初始概率及绝对概率n125.马尔可夫链状态分类且过程只在,2,1,0L,nL,可列个时刻发生状态转移，则称此随机过程{X,n³0}为马尔可夫链，n即参数空间为：T={,2,1,0L,nL}简称马氏链。6.遍历的马尔可夫链及平稳分布1232、、、马氏链的转移概率、马氏链的转移概率a3、、、一步转移概率及矩阵、一步转移概率及矩阵jp具有性质：aiji在上面转移概率中，取k=1即得一步转移概率)1(p³0a,aÎI称条件概

3、率ijijmm+kp=p(m,m+1)=P{X=a/X=a}ijijm+1jmi)2(∑pij=1aiÎIP{X=a/X=a}=p(m,m+k)ajÎIm+kjmiij由所有的一步转移概率p构成的矩阵ij为马氏链在m时刻处于ai状态经k步，在m+k时刻p11p12Lp1nL即从ai转移到状态空间的某一个状态是必然事件转移到a状态的转移概率，记为：p(m,m+k)jijP=ppLpL即矩阵中任一行元素之和为1，满足(1)、(2)性质的21222ni,j,m,k均为正整数,一般p(m,m+k)与i,j,m,k有关，ij

4、LLLLL矩阵称为随机矩阵。若p(m,m+k)与m无关，则称马氏链为齐次的，ij称为马氏链的一步转移概率矩阵下面我们仅讨论齐次马氏链。4564.多步转移概率的确定通常我们还规定通常我们还规定：通常我们还规定：：：)1(、在转移概率中取k=n时,即得n步转移概率：1i=jarpij()n=pij(m,m+n)=P{Xm+n=aj/Xm=ai}pij()0=pij(m,m)=dij=0i¹ja对应的n步转移概率矩阵为：(2)、、、切普曼—柯尔莫哥洛夫方程jp()np()nLp()nL（（（Chapman-Kolmogor

5、ov）））ai11121n{}p()np()nLp()nL定理：设Xn,n³0为齐次马氏链，则对任意的P()n=21222nmm+km+nMMM整数n³,0ai,ajÎI，有：pij()n=∑pir(k)prj(n-k)arÎILL或P(n)=P(k)P(n-k)直观解释对照图P(n)也为随机矩阵，即也满足性质：此乃有名的切普曼-柯尔莫哥洛夫方程，(1)p(n)³0.a,aÎIijij简称c-k方程。)2(∑pij()n=.1aiÎI789ajÎI证明：利用概率公式及马尔可夫性有：=∑P{Xm+k=ar/X

6、m=ai}×P{Xm+n=aj/Xm+k=ar}5、、、初始概率与绝对概率、初始概率与绝对概率arÎIpij()n=P{Xm+n=aj/Xm=ai}=∑pir()k×prj(n-k))1(定义：设{Xn,n³0}为马尔可夫链,分别称arÎI{}{}P{Xm=ai,Xm+n=aj}pj(0)=P{X0=aj}和pj(n)=P{Xn=aj}，(ajÎI)=用矩阵形式表示为：P(n)=P(k)×P(n-k)P{Xm=ai}为马氏链的初始概率和绝对概率，并分别称∑P{X=a,X=a,X=a}在上式取k=1，P(n)=P×P(n-)1{p0

7、(),aÎI}{和p(n),aÎI}为马氏链的初始mim+krm+njjjjjarÎI则n=2时有：P)2(=P)1(P)1(=P2={}{}P{X=a}分布和绝对分布，简记为和pj)0(和pj(n)。mi3n=3时：P)3(=P)1(P)2(=P∑P{Xm=ai,Xm+k=ar}P{Xm+n=aj/Xm=ai,Xm+k=ar}n写成向量形式:arÎI一般当n为任意整数时有：P(n)=P=rP{Xm=ai}表明一步转移概率是最基本的，它确定了p(0)=(p1(0),p2(0),L,pj(0),L)r马氏链的状态转移的统计规律。p(

8、n)=(p1(n),p2(n),L,pj(n),L)101112(2)绝对概率与初始概率的关系证：(1)p(n)=P{X=a}=∑P{X=a,X=a}（（（3）））马氏链的有限维分布）马氏链的有限维分布jnj0injaiÎI{}定理：设{X,n³0