《马尔科夫链》PPT课件

《《马尔科夫链》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、§4.3状态空间的分解定义：C为状态空间I的子集，则称C为I的闭集。引理4.4：若C为状态空间I的闭子集，则对任意若对任意的显然：若C为状态空间I的闭子集，则C中元素形成的转移概率子矩阵是随机矩阵12341110.80.2例如：从下面状态空间为I={1,2,3,4}的马尔科夫链的转移概率图可以看到{2,3}是一个闭集{2,3}对应的子矩阵(粉色部分）是随机矩阵。注意到：{2,3，4}也是闭集{2,3，4}对应的子矩阵（绿色部分）也是随机矩阵。12341110.80.2但是闭集{2,3}中的两个状态互通而闭集{2,3，4}中的3个状态不是互通的。3不可达4。同样I={1

2、，2,3，4}也可以看做闭集，但其中的的4个状态不是互通的。为区别状态子集的这种不同特点，引入不可约子集的概念：定义：若C为状态空间I的闭子集，且C中任意两个状态互通，则称C是I的不可约闭集；特别：若Markov链I的任意两个状态互通，则称该Markov链是不可约的。例6：证明（马尔科夫链的常返态的几个性质）则表明由出发不能概率1返回，证明（1）所以存在n>0使则导致由出发不能概率1返回，（2）和（1）的证明类似。（3）由（2）知，本例是马尔科夫链的常返态的一个重要性质！据此可对是马尔科夫链进行状态分解：定理4.10：任一马氏链的状态空间I，都可以唯一分解为互不相交的

3、子集之和：其中是所有非常返态的集合。是不可约的常返闭集注1：注2：是所有非常返态的集合，其中各状态未必互通，周期也未必相同。注3：证明首先将状态空间按个状态的常返性分解为：然后，将进一步分解：作作同理，是不可约的常返闭集。重复此过程，得是不可约的常返闭集为常返集，为非常返集。证毕！§4.4的渐近性质与平稳分布定理*：证明：一、的渐近性质为非常返，或零常返时，并注意到得：为正常返时，得：为正常返时：注若马氏链不可约，此时该链所有的状态属性相同。若不可约马氏链为正常返非周期的，则：若全为非常返或零常返的，或为正常返常周期的，极限结论和定理*相同。Markov链极限研究中，

4、对状态i常返特性的正判别和i的平均返回时间是两个关键的问题。下面我们给出在常见的有限维状态空间时状态常返性的一些结论；但是利用定义判别和计算都比较困难。然后我们介绍平稳分布，并利用平稳分布，计算并研究Markov链极限推论1：（1）有限马氏链，至少有一个正常返态，不可能有零常返态若所有的状态为非常返或零常返，那么证明：（1）试中令得：0=1，矛盾。所以，有限马氏链必有正常返态。（*）（*）设有限马科科夫链有N个状态，则（2）有限不可约马氏链，所有的状态必为正常返！二、有限马氏链的状态特点根据定理*，有：若有限马科科夫链存在零常返状态i，构造状态空间的子集：则C(i)是

5、不可约有限闭集，形成子马尔科夫链。而C(i)中的所有状态为零常返，所以，有限马氏链不存在零常返态。这与有限马尔科夫链必有正常返态矛盾。（2）根据（1）有限马氏链，至少有一个正常返态，而不可约马尔科夫链所有的状态具有相同的常返性，故全为正常返态。也称为正常返链。推论2：马氏链若有零常返态，则必有无穷多个零常返态三、平稳分布定义4.11则称为该马氏链的平稳分布注：即：若为马氏链的平稳分布，则即：表明Markov链一旦在某个时刻进入平稳分布，则以后的绝对概率分布保持不变，这也是“平稳”的含义。定理4.16不可约非周期的马氏链，是正常返的充要条件是存在平稳分布，且此平稳分布就

6、是极限分布：证明：充分性：设为马氏链的平稳分布，则故上式右端求极限可以和级数交换次序。与矛盾，所以该链必为正常返链。若链不为正常返（则为非常返，或零常返），则：必要性：设该马氏链是正常返的，所以有：矛盾。所以：为该马氏链的平稳分布。所以，马氏链存在平稳分布，且极限分布定理：则绝对分布也有极限分布，且：证明若转移概率具有极限分布：例1：设马尔科夫链的转移概率矩阵为求马尔科夫链的极限分布及各状态的平均返回时间解：这是一个不可约非周期，有限状态的马氏链，所以必有极限分布，且极限分布就是平稳分布。及由方程组：解得：状态1、2、3的平均返回时间依次是：即：5.6657、4.24

7、99、1.7001带有两个反射壁的随机游动,其转移概率阵为：解例2这是一个不可约非周期，有限状态的马氏链，所以必有极限分布，且极限分布就是平稳分布。求其极限分布.即：得：代入最后一个方程(归一条件),得唯一解所以极限分布为这个分布表明经过长时间游动之后,醉汉Q位于点2(或3或4)的概率约为3/11,位于点1(或5)的概率约为1/11.例3某地区有1600户居民,只有甲、乙、丙三个工厂的某产品在该地区销售。据调查，8月份买甲乙丙产品的户数为别为480，320，800。9月份调查发现，原买甲的有48户转买乙产品，96户转买丙产品；原买乙的有32户转买甲产