马尔科夫链的状态分类

《马尔科夫链的状态分类》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、马尔可夫链的状态分类一、互通与闭集1．互通则称自状态i可到达状态j则称状态i和状态j互通说明如果自状态i不能到达状态j，定理1即它满足（1）自反性（2）对称性证（3）传递性（1），（2）显然，下证（3）证3则由相通定义，根据切普曼---柯尔莫哥洛夫方程，有同理可证说明按互通关系是等价关系，可以把状态空间S划分为若干个不相交的集合（或者说等价类），并称之为状态类。若两个状态互通，则这两个状态属于同一类。任意两个类或不相交或者相同。2．闭集设C为状态空间S的一个子集，则C称为闭集注1若C为闭集，则表示自C内任意状态i出发，始终不能到达C以外的任何状态j。显然，整

2、个状态空间构成一个闭集。吸收态指一个闭集中只含一个状态注2若状态空间含有吸收状态，那么这个吸收状态构成一个最小的闭集。3．不可约的若除整个状态空间S以外没有其它的闭集，则称此马氏链是不可约的。如果闭集C的状态都是互通的，则称闭集C是不可约的。例1其一步转移矩阵为试研究各状态间的关系，并画出状态传递图。解先按一步转移概率，画出各状态间的传递图2/31/41/41/31/21/20121/2图3---1由图可知状态0可到达状态1，经过状态1又可到达状态2；反之，从状态2出发经状态1也可到达状态0。因此，状态空间S的各状态都是互通的。又由于S的任意状态i(i=0，

3、1，2)不能到达S以外的任何状态，所以S是一个闭集而且S中没有其它闭集所以此马氏链是不可约的。例2其一步转移矩阵为试讨论哪些状态是吸收态、闭集及不可约链。解先按一步转移概率，画出各状态间的传递图111/21/21/2311/2图3---24521闭集，由图可知状态3为吸收态且闭集，闭集，其中是不可约的。又因状态空间S有闭子集，故此链为非不可约链。二、首达时间和状态分类1．首达时间系统从状态i出发，首次到达状态j的时刻称为从状态i出发首次进入状态j的时间，或称自i到j的首达时间。如果这样的n不存在，就规定说明自状态i出发，经过n步首次到达状态j的概率自状态i出

4、发，经有穷步终于到达状态j的概率注1对于首次到达时间表示从状态i出发首次返回状态i所需的时间相应的便是从状态i出发，经有限步终于返回状态i的概率，2．首次到达分解式定理2证设系统从状态i经n步转移到状态j，由条件概率及马氏性得对任意IjiÎ,及1³n，有说明(m=1，2，…，n)的所有可能值进行分解，定理3证充分性由定理2得从而所以必要性由定理2得所以推论3．常返态与瞬时态则称状态i为常返态则称状态i为瞬时态注“常返”一词，有时又称“返回”、“常驻”或“持久”“瞬时”也称“滑过”或“非常返”定理4证则系统从状态i出发，经过有限次转移之后，必定以概率1返回状态

5、i。再由马氏性系统返回状态i要重复发生这样，系统从状态i出发，又返回，再出发，再返回，随着时间的无限推移，将无限次访问状态i。将“不返回i”称为成功，则首次成功出现的次数服从几何分布，这就是说也就是说以概率1只有有穷次返回i。定理5证令n=0，1，2，…因此，从状态i出发，访问状态i的平均次数为由定理4，得证。说明本定理的等价形式：i为瞬时态，当且仅当定理6证如果i为常返态，且，则j也是常返态。因由切普曼---可尔莫哥洛夫方程得上式两边对所有的s相加，得又因为i为常返态，所以故得从而即状态j也是常返态定理7所有常返态构成一个闭集证设i为常返态，即i和j相通。

6、这是因为若自j出发不能到达i，那么从i出发到达j后，就不能再返回i，这与i是常返态的相矛盾。再由定理6知，j也是常返态，这就是说，自常返态出发，只能到达常返态，不能到达瞬时态。故常返态全体构成一个闭集4．状态空间的分解如果已知类中有一个常返态，则这个类中其它状态都是常返的；若类中有一个瞬时态，则类中其它状态都是瞬时态。若对不可约马氏链，则要么全是常返态，要么全是瞬时态。定理8任一马氏链的状态空间S必可分解为其中N是瞬时态集，而且证记C为全体常返态所构成的集合，则由定理7知C为闭集将C按互通关系分类：那么再从余下的状态中任取一个状态如此进行下去，并且显然满足条

7、件（1）和（2）。5．正常返态与零常返态平均返回时间从状态i出发，首次返回状态i的平均时间称为状态i平均返回时间.根据的值是有限或无限，可把常返态分为两类：设i是常返态，则称i为正常返态；则称i为零常返态。定理9设i是常返态，则（1）i是零常返态的充要条件是（2）i是正常返态的充要条件是证明（略）推论证因为如果j是零常返态，i是任一状态，则由定理9，上式第一项有从而推论得证。说明用极限判断状态类型的准则（2）i是零常返态（2）i是正常返态（1）i是瞬时态且且定理10证明由切普曼---可尔莫哥洛夫方程得由此可知由定理9知6．有限马氏链对有限状态的马氏链我们给出

8、不加证明的性质定理11（1）瞬时态集N不可能是闭集；