第六章6.2马尔可夫链(过程)的概率分布.pdf

《第六章6.2马尔可夫链(过程)的概率分布.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、6.2马尔可夫链的概率分布主讲人：李伟西安电子科技大学数学与统计学院2015年春季例6.1.6(卜里耶模型Polya)设一个坛子中装有b个黑球和r个红球，每次随机的从坛子中摸出一球再放回去，并加入c个同颜色的球.设X表示第n次摸放后坛中的黑球数,则nX{Xn,0}状态空间为S{,bbcb,2,}c的马氏链.n其一步转移概率为pn()PX(jXi)ijn1ni,jicbrnci1,jibrnc0,其它其一步转移概率矩阵为bb100rbrb

2、bcbc010Prbcrbcb22cbc001rb22crbc例6.1.7设{,n0}是相互独立同分布的随机变量序列nP(1)pP,(1)1p,p0,n0nn令X,n0nn01验证X={X,n0}是齐次马氏链.n证明X的状态空间为S={0，1，2，}则对任意的n0,以及ii,,,i，iS,有01nn+1PX(iXiX,i,,Xi)nn110011nnPX(iX,i,,XiX,

3、i)0011nnn1n1PX(iX,i,,Xi)0011nnP(i,ii,,ii)00110n1n1nP(i,ii,,ii)00110nnn1P()iin11nnPX()iXinn11nn{,n0}是相互独立同分布的随机变量序列nP(ii)P(ii)......P(ii)n1n1nnn1n1n1nPX(iXXii)......P(Xi)n1n1nn1n10nP()nP(n

4、1)......P(0)iinn1iinn1iinn1Pn()Pn(1)......P(0)ijijij因此，X是齐次马氏链.7马尔可夫链的概率分布本节主要内容切谱曼—柯尔莫哥洛夫方程马尔可夫链的概率分布初始分布绝对分布有限维分布Chapman-Kolmogorov方程(C-K方程)定理6.2.1设X={Xnn,0}是状态空间上的马氏链，则有S(km)()k()mpij()npil()nplj(nk),nmk,,0,,,ijlSl或矩阵形式(km)(k)(m)

5、P(n)P(n)P(nk)()km证明p()nPX{jXi)ijnkmnP{,()XlXjXi)nknkmnlP{(Xl,)XjXi)nknkmnlP()Xlnk,XnkmjXni)lP(XnklXniPX)(nkmjXni,Xnkl)lP(XnkllXniP)(XnkmjXnk)l()km()pil()nplj(nk)l若取m=1,则由C-K方程的矩阵形式:(km)(k)(m)P(n)

6、P(n)P(nk)得(kk1)()(1)P()nP()nP(nk)(k1)P()nP(nk1)P(nk)P()nP(n1)P(nk1)P(nk)(,nk0)分量形式(k1)pij()npnpij()jj(n1)pjj(nk)112kj12jjk(,nk0,,ijS)特别的，X为齐次马氏链时，有()kkPP,k0结论：马尔可夫链的k步转移概率由其一步转移概率所完全确定.例6.2.1设X{X，n0}是描述天气变化的n齐次马氏链.0状态空间为

7、S{}，10，其中与1分别表示有雨和无雨天气.X的一步转移概率矩阵为0.70.3P0.60.4(3)问：1）对任意的状态ij，S，计算三步转移概率pij（2）求今天有雨且第四天仍有雨的概率，并比较各个概率值，思考如果转移步数增大，上述概率有什么规律？解：利用C-K方程得32PPP20.70.30.70.30.60.40.60.40.5830.4170.5560.444马尔可夫链的概率分布初始分布定义6.2.1马氏链X{}X，n0的状态空间

8、为Sn(0)记qPX(j),jSj0(0)则称概率分布{q:XjS}为马氏链的初始分布.j称向量(0)(0)(0)(0)q(q,q,q,)12j为马尔可夫链的初始分布向量.绝对分布定义6.2.2马氏链X{}X，n0的状态空间为Sn()n记qP(Xj),jSn,0jn()n则称概率分布{q:XjS}为马氏链的绝对分布.j称向量()n()n()n()nq(q,q,q,)12j为马氏链X的绝对分布向量.定理6.2.3马