马尔可夫链与泊松过程

《马尔可夫链与泊松过程》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、Ch.7马尔可夫链与泊松过程马尔可夫过程是研究信号多级传输、分子的布朗运动、顾客服务、计算机网络流量等等诸多问题时使用的经典模型。本章讨论：1）马尔可夫过程的基本概念2）转移概率与C-K方程3）状态分类及极限特性4）独立增量过程定义及性质5）泊松过程定义及相关问题Ch.7马尔可夫链与泊松过程7.1马尔可夫链7.2马尔可夫链的状态分类7.3独立增量过程7.4泊松过程7.1马尔可夫链此句作为后面每页ppt的标题定义7.1随机序列，可数集状态空间，如果下式恒成立，则称是马尔可夫链（Markovchain）。上式称为马尔可夫性（马氏性）、无后效性。定义7.2任意，，称条件概率为(时刻的)一步

2、转移概率(Onesteptransitionprobability)。齐次马尔可夫链(HomogeneousMarkovchain)：满足下式条件的马尔可夫链：转移概率性质：（1）非负性：（2）归一性：步转移概率：时刻到时刻的转移概率转移概率矩阵：并且：（1）（2）。齐次马尔可夫链：例7.1设，，其中是独立随机序列，试说明是马尔可夫链。解：例7.2级联的独立二进制传输系统如图所示试说明是齐次马尔可夫链，并求（一步）转移概率。解：（1）是齐次马尔可夫链，因为（2）一步转移概率矩阵为时刻的转移概率矩阵：对于齐次马尔可夫链：状态转移图：用带符号的圆圈表示状态，带箭头的弧线表示可能的转移及其

3、概率的一种有向图。例7.1直线上作随机游动的质点：时刻的游动位移为且统计独立，。相应取值概率为。令，，试说明是马尔可夫链。解：是例7.1中函数时的一个特例。定义7.1若是马尔可夫链，称行向量为时刻的概率分布向量。。设，则：向量形式：定理7.1（查普曼-柯尔莫哥洛夫方程）设，马尔可夫链的转移概率矩阵满足简称C-K（Chapman-Kolmogorov）方程。矩阵形式：证明思路：运用全概率公式和马尔可夫性证明：当时方程特点：一步转移概率矩阵为的齐次马尔可夫链（1）（2）步转移概率：（3）步转移概率矩阵：（4）（5）（6）例7.1随机序列，取值(0，1)，概率，，经过累加器后得到随机过程。

4、（1）证明是齐次马尔可夫链；（2）给出的转移概率矩阵与状态图；（3）求步转移概率。解：（1）证：且为独立平稳序列，是例7.1的特例；因此是齐次马尔可夫链。（2）的一步状态转移概率矩阵（3）利用二项分布特性例7.1记为在两个反射壁之间作一维随机游动粒子的位置，状态空间为，（1）绘出状态图；（2）求时刻处于状态0且时刻处于各状态的概率；（3）求时刻处于状态0且时刻处于各状态的概率。解：（1）状态图反射壁(Reflectingbarrier)：由于在0与2状态上，以概率1转移（弹回）到下一状态。（2）,,（4）,,例7.2某个具有双吸收壁的质点随机运动的状态图如下，试给出它的一步转移矩阵。

5、解：吸收壁（Absorbingbarrier）：进入状态0或3后，该链永远停留在那里。也称为吸收态(Absorbingstate)。一步转移概率矩阵：定义7.1马尔可夫链的一步转移概率矩阵为，如果存在一种分布，下式恒成立则称为的一个平稳分布。因为一旦进入该分布后，它就永远处于该分布上。也称为的极限分布或最终分布。例7.1的齐次马尔可夫链，，，求：（1）时刻的状态概率向量；（2）给出其中的一个可能序列；（3）当时是否存在？解：（1）（2）的可能样本序列为010101…或101010…。（3）当为偶数时：当为奇数时：所以，不存在极限。例7.2取值为的有噪声对称二进制传输系统，，，，其中，

6、和分别是输入输出随机变量。将该类型传输系统进行级级联，并设输入到该级联系统的信源数据概率为。求：（1）系统的转移概率。（2）信源经过级联系统后，输出符号的取值概率。（3）当趋于无穷大时，上述两问的结果又如何？解：该系统是一个齐次马尔可夫链，（1）级级联后系统的转移概率为特征分解，故有，（2）信源经过该级联系统后，输出符号的取值概率为===（3）令趋于无穷大，当时，，并且当时，如果，因此，而；如果，与都不存在。本例说明了一个有趣的结果：不论原始信息的分布如何，经过很多次有错（）传播后，即使错误概率很小，其分布总趋于均匀分布，信息趋于未知。7.2马尔可夫链的状态分类此句作为后面每页ppt

7、的标题定义7.1齐次马尔可夫链，对任意给定的两个状态，存在整数使,则称状态可达状态，简记为；若同时还存在整数，使也成立，则称状态和状态是互通的，简记为。包含了从状态出发到达状态的所有可能轨道。定义7.2对于两个状态，从状态出发，经过步转移后首次到达状态的步数，称为从状态出发后首次到达状态的时间，简称为首达时间。如果从状态出发，永远不能状态，则标记为。的取值空间：。例7.1齐次马氏链，分析三个状态之间的可达、互通及首达时间的取值空间。解：可达、互通：（1），