马尔可夫链课件培训讲学.ppt

《马尔可夫链课件培训讲学.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、马尔可夫链课件第一节基本概念一、Markov链的定义二、转移概率三、Markov链的例子四、n步转移概率，C-K方程过程(或系统)在时刻t0所处的状态为已知的条件下，过程在时刻t>t0所处状态的条件分布与过程在时刻t0之前所处的状态无关。通俗地说，就是在已经知道过程“现在”的条件下，其“将来”不依赖于“过去”。第一节基本概念马尔可夫性(无后效性)用分布函数表述马尔可夫性：一、Markov链的定义定义设随机过程的状态空间为：若对任意的，及有马氏性…………则称为离散时间、离散状态的马尔可夫过程，或简称为马尔可夫链。设是马尔可夫链，对任意的，计算的联合分布律二、转移

2、概率乘法公式马氏性即马尔可夫链的有限维分布完全由初始分布和条件概率确定.马氏性注当固定时，一步转移概率实质上就是在的条件下，随机变量的条件分布律，所以条件分布律满足：定义1设是马尔可夫链，记称为马尔可夫链在时刻时的一步转移概率。二、转移概率定义2设是马尔可夫链，若其一步转移概率与时间无关，即则称为齐次马尔可夫链，称为从状态转移到状态的一步转移概率.若马尔科夫链的状态空间是有限集，则称为有限状态的马尔科夫链；若马尔科夫链的状态空间是可列集，则称为可列状态的马尔科夫链.二、转移概率矩阵的每一行都是一条件分布律记.称为齐次马尔可夫链的初始分布.齐次马尔科夫链的有限维

3、分布族完全由其一步转移概率矩阵和初始分布确定.则称矩阵为齐次马尔科夫链的一步转移概率矩阵.定义3设是齐次马尔可夫链，其一步转移概率为，记二、转移概率例1(一个简单的疾病死亡模型)三、马氏链的例子例2(0-1传输系统或简单信号模型)如图所示，只传输数字0和1的串联系统中，设每一级的传真率为p，误码率为q=1-p。并设一个单位时间传输一级，X0是第一级的输入，Xn是第n级的输出(n≥1)，那么{Xn,n=0,1,2…}是一随机过程，状态空间S={0,1}，而且当Xn=i为已知时，Xn+1所处的状态的概率分布只与Xn=i有关，而与时刻n以前所处的状态无关，所以它是一

4、个马氏链，而且还是齐次的，它的一步转移概率和一步转移概率矩阵分别为：……n21X0X1X2XnXn-1三、马氏链的例子例3(带有一个吸收壁的随机游动)质点在直线上作随机游动.在某一时刻质点位于，则下一步质点以概率向右移动一格到达；或以概率向左移动一格到达.但当质点一旦到达原点，则质点永远停留在原点，不再移动.状态称为吸收态.以表示质点在时刻的位置.则是齐次马尔可夫链，称其为带一个吸收壁的随机游动.求其一步转移概率矩阵.三、马氏链的例子解：马尔科夫链的的状态空间为：一步状态概率为：一步状态概率矩阵为：三、马氏链的例子13452例4设一醉汉Q(或看作一随机游动的质

5、点)在直线上的点集S={1,2,3,4,5}作随机游动，且仅在1秒、2秒等时刻发生游动，游动的概率规则是：如果Q现在位于点i(1

6、阵为：三、马氏链的例子例5(无限制随机游动)质点在直线上作随机游动.在某一时刻质点位于，则下一步质点以概率向右移动一格到达；或以概率向左移动一格到达.以表示质点在时刻的位置.则是状态无限的马尔科夫链，求其一步转移概率矩阵.解：马尔科夫链的的状态空间为：一步状态概率为：一步状态概率矩阵为：称为马尔可夫链在时刻时处于状态经过时间后转移到状态的概率.设是马尔可夫链，其状态空间为①记马尔可夫链的步转移概率为四、n步转移概率、C-K方程②称此式为切普曼－柯尔莫洛夫方程，简称C-K方程.定理设是马尔可夫链，其状态空间为，则对任意的，有直观意义从状态出发经过步到达状态，可分

7、成两步走：①先从状态出发经过步到达状态；②然后再先从状态出发经过步到达状态；由马氏性知，后一阶段的状态转移与前一阶段的状态转移独立，故两个阶段的转移概率可相乘.四、n步转移概率、C-K方程ikjk0证明：四、n步转移概率、C-K方程注记齐次马尔科夫链的步转移概率矩阵为：则齐次马尔科夫链的切普曼－柯尔莫洛夫方程可用如下矩阵形式表示：四、n步转移概率、C-K方程四、n步转移概率、C-K方程解：例(天气预测简单模型)假设明天是否下雨仅与今天的天气(是否下雨)有关，而与过去的天气无关.假设今天下雨、明天有雨的概率为，今天无雨而明天有雨的概率为；又假设把有雨称为状态天气

8、，把无雨称为状态天气.记表示第天的天气