最新第七讲-马尔可夫链课件ppt.ppt

《最新第七讲-马尔可夫链课件ppt.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第七讲-马尔可夫链1T连续，E连续——连续马尔可夫过程2T连续，E离散——离散马尔可夫过程3T离散，E连续——马尔可夫序列4T离散，E离散——马尔可夫链马尔可夫过程的分类：T表示时间空间E表示状态空间2021/8/22马尔可夫链1马尔可夫链的定义为一随机序列，其状态空间为，若对于任意的，满足则称为马尔可夫链（简称马氏链）。设表示n-1时刻的状态是2021/8/23(3)切普曼-柯尔莫哥洛夫方程（C-K方程）对于步转移概率，有如下的切普曼-柯尔莫哥洛夫方程的离散形式表示从状态经过n步转移到的概率等效为:先由状态经过l步到达中间状态再由状态经过k步到达状态的概率和。若用概率矩阵表示，有当时，

2、有同理可推出，当时，有即任意k步转移概率矩阵可由一步转移概率矩阵自乘k次来得到。2021/8/27例在某数字通信系统中多级传输0、1两种数字信号。由于系统中存在干扰，在任一级输入0、1数字信号后，其输出不产生错误的概率为p，产生错误的概率为q=1-p，求两级传输时的概率转移矩阵。解系统每一级的输入状态和输出状态构成一个两状态的马氏链，其一步转移概率矩阵为于是，两级传输时的概率转移矩阵等效于两步转移概率矩阵为2021/8/28(4)初始分布与绝对分布为了完整的描述一个随机过程，需要给出任意有限维概率函数。对于马氏链的任意有限维概率函数完全由初始分布和转移概率矩阵来描述。设为一马氏链，其状态

3、空间或为有限子集。令，且对任意的均有则称为该马氏链的初始分布，也称初始概率。初始概率是马氏链在初始时间时处于状态i的概率。2021/8/29当时，马氏链处于状态i的概率称为绝对概率或绝对分布。则称为该马氏链的绝对分布，也称绝对概率。设为一马氏链，其状态空间或为有限子集。令，且对任意的均有2021/8/210定理马氏链的绝对概率由初始分布和相应的转移概率唯一确定。利用C-K方程，则n步转移矩阵可由一步转移矩阵唯一确定。推论马氏链的绝对概率由初始分布和一步转移概率唯一确定。2021/8/211转移图（状态转移图与概率转移图）状态转移图就是在一张图中，首先将马氏链所具有的各个状态一一标出，然后

4、用标有箭头的连线将各个状态连接起来，箭头所指的状态，就是箭尾所连接的状态一步能够达到的状态，若在连线上再标出一步转移概率，就构成了概率转移图。有了概率转移图，为状态的连通性、可达性、常返性以及马氏链的可约性提供方便。2021/8/212马氏链中状态分类到达与相通到达：如果对于状态与（可简写为和)总存在某个，使得，则称自状态经过n步可以到达状态，并记为反之，若对所有的有，则自状态不可以到达状态，并记为到达具有传递性，即若,,则2021/8/213相通：若自状态i可达状态j，同时自状态j也可达状态i，则称状态和状态相通，记为。相通具有以下等价关系：（1）若，则自返性（2）若，则对称性（3）若

5、，，则传递性如果马尔可夫链的所有状态都是相通的，则这样的马尔可夫链为不可约的。2021/8/214例设一两状态马氏链具有以下转移概率矩阵对于所有的n,，故状态“1”不能到达状态“0”；而存在n使得，故状态“0”可以到达状态“1”。讨论其状态的到达特性。解要讨论这一马氏链两个状态的到达性，可先求出它的n步转移概率矩阵。由于2021/8/2152．状态的分类设为一马氏链，对任一状态i与j，称为自状态i出发首次进入状态j的时刻，或称为自i到j的首达时。如果可能永不取值j，规定。是一随机变量。为了对马氏链进行分类，需要明白马氏链存在哪些状态，哪些是暂时出现（最多有限次到达），哪些永恒出现（无限次

6、到达）。2021/8/216设为一马氏链，对任一状态i与j，称为自状态i出发经过n步首次进入状态j的概率。显然有从而2021/8/217设为一马氏链，对任一状态i与j，称为自状态i出发迟早进入状态j的概率。显然有2021/8/218定理对任何状态，有说明：马氏链从状态i出发经过n步转移到状态j的概率：从i出发经过l步首次到达状态j，在从状态j出发经过n-l步转移又到了状态j（），这些事件的概率之和。如果，则称状态j是常返的。如果，则称状态j是非常返的(或称为瞬时的)如果马尔可夫链的任一状态都是常返的，则称此链为常返马尔可夫链。2021/8/219定理的充要条件是。定理状态j是常返（）的充

7、要条件为推论如果状态j是非常返的，则必有2021/8/22012…NP………由数学期望的定义，可得称为状态i的平均返回时间。设i是一常返态，则从i出发可经过n步首次返回i，在的条件下的分布列为设i是常返态，如果，则称状态i是正常返态；如果，则称状态i是零常返态。2021/8/221对于状态i，若正整数集合非空，则称该集合的最大公约数L为状态i的周期。若，则称状态i是周期的。若，则称状态i是非周期的。如果状态i是非周期且正常返的，则称