概率论 第八章 马尔可夫链

《概率论 第八章 马尔可夫链》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第八章马尔可夫链马尔可夫链的定义及例子多步转移概率及C-K方程遍历性与平稳分布一马尔可夫链的定义8.1马尔可夫链的定义及一些例子证由定义知，只要证明在已知已知的条件下相互独立即可由独立增量的定义知，当时，增量与相互独立。根据条件即有与相互独立。这表明相互独立。即是一个马尔可夫过程。状态和时间参数都是离散的马尔可夫过程称为马尔可夫链，或马氏链。证可见,的状态空间对任意的及是一个马氏链。由马氏链定义及概率论知识可知所以，马氏链的有限维分布完全由初始分布和条件概率确定。如何确定这些条件概率是马尔可夫链理论和应

2、用中的重要问题之一。转移概率的性质二转移概率否则，就称之为非时齐的。例3：（0-1传输系统）在只传输数字0和1的串联系统中，设每一级的传真率（输出与输入数字相同的概率称为系统的传真率，相反情形称为误码率）为，误码率为，并设一个单位时间传输一级，是第一级的输入，是第级的输出。那么，是一随机过程，状态空间。12n显然，当为已知时，所处的状态的概率分布只与有关，而与时刻以前所处的状态无关。所以他是一个马尔可夫链，而且还是齐次的。他的一步转移概率为从而他的一步转移概率矩阵为解对任意的n及所以为马氏链。由于独立同

3、分布，因而所以为齐次马氏链。其一步转移概率同样可以讨论带有一个吸收壁及两个反射壁的随机游动，当然也可以讨论没有吸收壁和反射壁的自由随机游动。总之，改变游动的概率规则，就可得到不同方式的游动和相应的马氏链。随机到达者等候室服务台系统离去者类似地，有于是该马氏链的一步转移概率矩阵为马氏链考题：1、设任意相继的两天中，雨天转晴天的概率为，晴天转雨天的概率为，任一天晴或雨是互为逆事件。以0表示晴天状态，以1表示雨天状态，表示第天的状态（0或1）。试写出马氏链的一步转移概率矩阵和两步转移概率矩阵。又若已知5月1日

4、为晴天，问5月2日和4日都是晴天的概率是多少？2、一个老鼠“学习”过程的模型如下：如果老鼠“学到”某种技巧（如取得一颗花生或者避开一次电休克等），那么说它处于状态1；如果它还没有学会，那么说它处于状态2，假定它一旦学会了就将一直记住，而如果它还没有学会，它在一次试验中“学会”的概率是，写出1步，2步转移概率矩阵；如果初始分布为，求。马氏链的有限维分布(1)一维分布设链的由全概公式一维分布可用行向量表示利用矩阵的乘法：说明马氏链在任一时刻n的一维分布由初始分布与n步转移概率矩阵确定。所以，马氏链的有限维分

5、布完全由初始分布和转移概率确定。(2)n维分布8.2多步转移概率及C-K方程类似地也可以得出n步转移概率满足下面两个性质：此方程称为Chapman-kolmogorov(切普曼－柯尔莫哥洛夫)方程,简称C-K方程.证：如果把转移概率写成矩阵的形式，那么C－K方程具有以下简单的形式特别地,步转移概率由一步转移概率完全决定。解：（2）由可知（3）由C-K方程可知解:先求出二步转移概率矩阵于是0→0，8次，0→1，18次；1→0，18次，1→1，52次。因此，一步转移概率可用频率近似地表示为（1）试求一步转移

6、概率；（2）若计算机在前一段（15分钟）的状态为0，那么从本时段起，此计算机能连续3个时段正常工作的概率是多少；解（1）96次状态转移的情况是：（2）由题意，计算机在前一段（15分钟）的状态为0，意味着初始分布为计算机能连续3个时段正常工作的概率是例11对于只有两个状态的马氏链，一步转移概率矩阵一般可表示为：试求n步转移概率矩阵。解，特征方程为有相异特征值由线性代数知识，可将矩阵P表示为对角阵的相似矩阵。，则由，容易算得对应的特征向量具体做法是：求出练习：设马氏链的状态空间为，初始分布为一步转移概率矩阵

7、为（1）计算；（2）证明；（3）计算；（4）计算。8.3遍历性与平稳分布对于一个系统来说，考虑它的长期的性质是很必要的，比如当时，的极限是否存在？所以问题可以转化为研究的极限性质，即研究是否存在？存在的话，其极限是否与有关？有关这两方面问题的定理，统称为遍历性定理。一遍历性由全概公式可知对于一般的两个状态的马氏链，有具有遍历性的马氏链是否存在呢？由于，上式得极限为可见此马氏链的步转移概率有一个稳定的极限，什么时候会存在呢？无关，并且对于一般的马氏链，其极限与证：由于：故即，经过无穷次转移后处于状态的概率

8、与初始状态无关，与初始状态的分布也无关。推论8-1如果马氏链是遍历的，则所取的值与初始状态的分布无关。解先求出二步转移概率矩阵于是（1）（2）（3）由于所有的二步转移概率均大于零，由定理8-2可知，此链具有遍历性；又，则，可得（4）由例12设一马氏链的一步转移概率矩阵为试讨论它的遍历性。解:先算得定义8-8一个定义在状态空间上的概率分布称为马氏链的平稳分布，如有：即，，有：在定理8-2的条件下，马氏链的极限分布又是平稳分布。二平稳分布例8-