Markov链的状态分类.ppt

《Markov链的状态分类.ppt》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、§3.2Markov链的状态分类互达性和周期性定义3.3设i和j是时齐的Markov链的两个状态,如果存在n0,使得,则称从状态i可达状态j,记作ij.反之,以ij表示从状态i不可达状态j,即对一切n0,.若ij且ji,则称状态i和j互达(相通),记作ij.注:引入互达性概念是为了对状态进行分类.命题3.1互达性是等价关系,即满足:(1)自反性:ii;(2)对称性:若ij,则ji;(3)传递性:若ik且kj,则ij.证:(3)若ik且kj,则存在整数n和m使得:由Chapman-Kolmogorov方程得:即:ij.类似可证ji

2、.在数学上,等价关系可以用于对集合进行分割.因此,我们也可以利用互达性对状态空间进行分类,并且这些类在互达关系下是等价类.定义3.4一个Markov链的状态空间,如果在互达性这一等价关系下都居于同一类,那么就称这个Markov链是不可约的.否则,这个Markov链就被称为是可约的.注:引入可约/不可约概念是为了以后研究状态的周期,进一步是为了研究转移概率的极限性质.则显然{1,2}和{3,4,5}是状态在互达意义下的两个等价类.因此,这个Markov链是可约的.比如其中一个子链为:例3.6若Markov链有转移概率矩阵给出这个Markov链状态的等价类,并且试

3、给出其n步转移概率矩阵.练习:若Markov链有转移概率矩阵答:等价类为:{1,4},{2,5}和{3}.其中3为吸收态.用Mathematica软件计算知:所以定义3.5设i为Markov链的一个状态,使的所有正整数n(n1)的最大公约数,称为状态i的周期,记作d(i)或di.如果对所有n1,都有,则约定周期为;d(i)=1的状态i称为是非周期的.推论:如果n不能被周期d(i)整除,则必有.注:当状态i的周期为d时,不一定成立.试求状态0的周期.例3.7若Markov链有状态0,1,2,3和转移概率矩阵解:状态转移可以用下图表示用数学归纳法不难求出:所

4、以d(0)=2.试求状态1的周期.练习:若Markov链有状态1,2,3和转移概率矩阵解:状态转移可以用下图表示所以d(1)=2.您能求出状态2的周期吗?命题3.2如果ij,则di=dj.证:设m1,n1,使得,则因此,m+n同时能被di及dj整除.对于任意的s1即:m+s+n也能被dj整除.因此,s能被dj整除.从而dj整除的最大公因子di.根据对称性,di也整除dj,所以di=dj.满足,则引理3.1设m2,正整数s1,s2,…,sm的最大公因子为d,则存在正整数N,使得n>N时,必有非负整数c1,c2,…cm使.我们引入状态周期概念的目的，是为

5、了研究状态转移矩阵的极限性质，即当n时P(n)的极限，这个矩阵可以反映出Markov链在平稳状态时的特征。因此，下面我们将讨论周期的基本性质，为此先给出一个数论中的结论：推论3.1设状态i的周期为di.如果,则存在整数N,使得对所有nN恒有证:这时存在正整数s1,s2,…,sm,使得它们的最大公因子为d,且.命题3.3如果状态i有周期d,则存在整数N,使得对所有nN恒有.由引理3.1,存在正整数N,使得n>N时,必有非负整数c1,c2,…cm使.从而因为状态空间有限,对全部的状态对(i,j),求出N(i,j).并取,则显然对所有状态i和j,当n>N时有

6、.证:由于Markov链是不可约的,过程的任两个状态i和j都是互达的,于是m(与i和j有关)使得.由推论3.1及链的非周期性知,存在N,使得当nN时,.命题3.4设P为一个不可约、非周期、有限状态Markov链的转移矩阵,则必存在N,使得当nN时,P(n)的所有元素都大于0.显然这是一个不可约、非周期、有限状态的Markov链.例3.8若Markov链有转移概率矩阵常返与瞬过定义：则表示从状态i出发在第n次转移时首次到达状态j的概率。定义：则表示从状态i出发在第n次转移时首次回到状态i的概率。定义：则表示从状态i出发最终到达状态j的概率.性质：当ij时,

7、则ijfij>0.定义3.5如果fii=1,则称状态i是常返的.否则,即fii<1,称状态i为非常返的或瞬过的.注:如果状态i是常返的,那么从状态i出发经过有限步转移后最后又回到i的概率为1.定义：表示在0时刻从状态i出发首次到达状态j的所需要转移的步数,即如果,则补充:我们有,因此注:上式告诉我们为什么fii=1表示常返.定理3.2①状态i是常返的②状态i是瞬过的证:由过程的Markov性,一旦回到i,过程以后的发展只依赖当前,因此从i出发至少回到i两次的概率是,依此类推.用随机变量K表示过程返回i的次数,则于是K的条件期望为:显然,下面我们将证明:令,则

8、,于是因此,由于状态i瞬过的,故状态i