资源描述：
《6.3马尔可夫的状态分类》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、6.3马尔可夫链的状态分类数学与统计学院李伟2013年秋季1马尔可夫链状态的分类本节内容状态类型定义状态类型判断状态之间的关系状态空间的分解§6.3.1状态类型定义定义6.3.1设任意的ij,ÎSn,³1,()n称f=PX{=jX,¹jk,=1,2,⋯,n-1X=i}ijnk0为马氏链在0时从状态i出发,经n步转移后,首次到达状态j的概率.简称首达概率.(+¥)记f=PX{¹jn,=1,2,⋯X=i}ijn0(+¥)称f为马氏链在0时从状态出发,永远不能转移到iij状态的概率.j¥又记()nfij=∑fijn=1¥=P{∪(Xn=jX
2、,k¹jk,=1,2,⋯,n-1)X0=i}n=1称为马氏链在0时从状态i出发,经有限步转移后终究fij到达状态j的概率（也称迟早概率）.特别的，当i=j时，表示马氏链在0时从状态出发,fiii经有限步转移后终究返回状态i的概率.利用概率fii可以定义状态类型定义6.3.2设状态iÎS若f=1,则称状态是i常返的(返回的)ii若f<1,则称状态是i非常返的(滑过状态)ii当为常返态时，也就有i¥()nfii=∑fii=1，n=1()n即f构成概率分布.则相应的数学期望为ii¥()nmii=∑nf×iin=1则m表示马氏链从状态出发首次再返回状
3、态ii的ii平均时间（或平均转移步数）.利用量mii可以进一步定义状态类型定义6.3.3设状态iÎS是常返的,若m<+¥,则称状态i为正常返状态.ii若m=+¥,则称状态i为零常返状态.ii（消极常返状态）例6.3.1设状态空间S={1,2,3,4}的马尔可夫链,它的一步转移概率矩阵为1100221000P=120033110022试分析马氏链的状态的常返与否解:马氏链的状态转移图为213211121233241112(1)(2)()n∵f=f=，f=0(n³3)1111112⇒f=1⇒状态常返1.11
4、¥()n3又m11=∑nf×11=<¥⇒状态正常返1.n=1221321112123324112(1)2()n∵f=，f=0(n³2)333332⇒f=<1⇒状态非常返3.333类似可以讨论状态2和4.例6.3.2设状态空间S={1,2,3,4,5}的齐次马氏链,一步转移概率矩阵为120003300100P=100000000110000分析从状态返回状态的转移步数？iiiÎS马氏链的状态转移图为1111345123213定义6.3.4设iÎS,若自然数集()n{nn³1,p>0}¹Fii则称其最大公约数为
5、状态的周期i，记.即di()nd=GCD{nn³1,p>0}iii若d>1,则称状态为i周期状态,且周期为d.ii若d=1,则称状态i为非周期状态.i()n若集合{nn³1,f>0}¹F.则记ii()nh=GCD{nn³1,f>0}¹Fiii周期的性质()n1)若p>0，则必存在m³1,使得n=mdiii()n2)若f>0，则必存在m¢³1,使得n=mh¢iii3)若与dh中一个存在,则另一个也存在，且d=hiiii14定理6.3.1设状态的周期为则id,$正整数N,使N³N时,有00(Nd)p>0ii证明()n(nm)将{nn³1,p>0}
6、记为{nm=1,2,⋯,p>0}iimii令d=GCD{nt=1,2,⋯,}.mm³1mt(d=GCD{},nd=GCD{,nn},d=GCD{,nnn,},⋯,112123123⋯,d=GCD{,nn,⋯,n},d=GCD{,nn,n⋯})m12m123则有d³d³⋯³d³112必存在正整数，使ld=d=⋯=dll+1d=d=GCD{nt=1,2,⋯,l}lt=GCD{n,,,n⋯n}12l由初等数论知识$正整数，使得对N0"N³N0，有Nd=Nn11+Nn22+⋯+Nnll(NN1,2,⋯,Nl为正整数)p(Nd)=p(Nn11+N
7、n22+⋯+Nnll)iiii=∑∑∑⋯p(Nn11)p(Nn22)⋯p(Nnll)ik1kk12kil-1k1k2kl-1³p(Nn11)p(Nn22)⋯p(Nnll)iiiiiil(Nnmm)=Õpiim=1Nm个l=Õp(nm+nm+⋯+nm)iim=1l=Õ（∑∑∑⋯p(nm)p(nm)⋯p(nm))ii1ii12iNm-1im=1i1i2iNm-1l³Õp(nm)p(nm)⋯p(nm)iiiiiim=1l=Õ(p(nm))Nmii>0m=1({∵nm=1,2,⋯,p(nm)>0}p（）nm>0)miiii由此可以得到
8、，设状态iÎS(1)若f=1,则称状态是i常返的(返回的)ii若f<1,则称状态是i非常返的(滑过状态)ii(2)若是i常返状态,且m<+¥,则称状态为i正常返状态
