随机过程马尔可夫链课件.ppt

《随机过程马尔可夫链课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、§4.3状态空间的分解引理得证。闭集的意思是自C的内部不能到达C的外部。这意味着一旦质点进入闭集C中，它将永远留在C中运动。称状态I为吸收的，如=1。显然状态i吸收等价于单点集{i}为闭集。例4.12无限制随机游动为不可约马氏链，各状态的周期为2且是正常返的。我们知道自常返状态只能到达常返状态，因此I中全体常返状态组成一闭集C。在C中互通关系具有自返性，对称性和传递性，因而它决定一分类关系。按互通关系我们可得到状态空间的分解定理。证记C为全体常返状态所成的集合,D=I-C为非常返状态全体。将C按互通关系进行分解，则

2、试分解此链并指出各状态的常返性及周期性。可见1为正常返状态且周期等于3。含1的基本常返闭集为从而状态3及5也为正常返且周期为3。同理可知6为正常返状态。可见2是遍历状态。I＝D∪C1∪C2＝{4}∪{1,3,5}∪{2,6}。定理4.11周期为d的不可约马氏链，其状态空间C可唯一地分解为d个互不相交地子集之和，即实际上例4.14设不可分马氏链的状态空间为C={1,2,3,4,5,6}，转移阵为由右状态转移图易见各状态的周期d=3。今固定状态i=1，令故此链在C中的运动如图例设X为一齐次马氏链，状态空间为S＝{a,b

3、,c,d,e}，转移概率矩阵为试分析其状态类型。解画出其状态转移概率图，如下页图所示。从图中不难发现C＝{a,c,e}是一个状态闭集，D＝{b,d}是非常返态集，自然C是正常返的而且是非周期的。如果我们能够发现转移矩阵能够重排为这相当于将状态的次序重排为S＝{a,c,e,b,d}。由上及P的标准形式即知非常返态集D＝{b,d}和遍历态集C＝{a,c,e}。D和C也是S的两个等价类，显然C是闭集，D不是闭集。例设一齐次马氏链的状态空间为S＝{1,2,3,4,5,6,7,8}，转移概率矩阵为例设一齐次马氏链的状态空间为

4、S＝{1,2,3,4,5,6,7,8,9}，其转移概率矩阵有如下形式：其中*表示正的一个数，其余均为零。试确定此齐次马氏链的状态类型。例设一齐次马氏链的状态空间为S＝{0,1,2,…,}，其转移矩阵如下（状态转移图如下）：试讨论此链是常返链的充分必要条件。§4.4的渐近性质与平稳分布证由定理4.4，对N

5、般性定理。因此（4.37）式得证。定理4.15对任意状态i,j有由马氏链的性质我们有如果我们假定r(i)一致有界，则由控制收敛定理可得进而，若X是不可约正常返的，则它与初始状态i无关。二、平稳分布根据归纳法可得故有事实上，因为如此类推即可得。再证必要性，设马氏链是正常返的，于是由C-K方程，对任意正数N，有下面要进一步证明等号成立，由(I)将(I)式对j求和，并假定对某个j，(I)式为严格大于，则于是有自相矛盾得结果：故有推论1有限状态的不可约非周期马尔可夫链必存在平稳分布。推论2若不可约马尔可夫链的所有状态是非常

6、返或零常返的，则不存在平稳分布。证由定理4.13的推论知，此马尔可夫链只有正常返态，再由定理4.16知必存在平稳分布，证毕。但是，根据定理4.13，有例4.16设马尔可夫链的转移概率矩阵为求马尔可夫链的平稳分布几各状态的平均返回时间。例设马尔可夫链的转移矩阵为：求每一个不可约闭集的平稳分布。