《马尔科夫连》PPT课件

《《马尔科夫连》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1第三章马尔可夫链马尔可夫链定义一步转移概率及多步转移概率初始概率及绝对概率Chapman-Kolmogorov方程马尔可夫链状态分类遍历的马尔可夫链及平稳分布2马尔可夫过程将来的状态只与当前状态有关，与过去状态无关，即无后效性3马尔可夫链定义定义：设有随机过程{Xn,n∈T}，若对于任意的整数n∈T和任意的i0,i1,…,in+1∈I，条件概率满足则称{Xn,n∈T}为马尔可夫链，简称马氏链时间和状态都离散的马尔可夫过程称为马尔可夫链4定义称条件概率为马尔可夫链{Xn,n∈T}在时刻n的一步转移概率，其中i,j∈I，简称转移概率。定义若对任意的i,j∈I，马

2、尔可夫链{Xn,n∈T}的转移概率与n无关，则称马尔可夫链是齐次马尔可夫链。我们只讨论齐次马氏链。5设P表示一步转移概率所组成的矩阵，则称为系统状态的一步转移概率矩阵，它具有如下性质：满足上述两个性质的矩阵称为随机矩阵。6例：一维随机游动。设一醉汉Q(或看作一随机游动的质点)在直线上的点集I={1,2,3,4,5}作随机游动，游动的概率规则是：如果Q现在位于点i(1

3、带有两个反射壁的随机游动。134527例：排队模型设服务系统由一个服务员和只可以容纳两个人的等候室组成。服务规则为：先到先服务，后来者需在等候室依次排队，假设一个需要服务的顾客到达系统时发现系统内已有3个顾客，则该顾客立即离去。设时间间隔⊿t内有一个顾客进入系统的概率为q，有一接受服务的顾客离开系统(即服务完毕)的概率为p,又设当⊿t充分小时，在这时间间隔内多于一个顾客进入或离开系统实际上是不可能的，再设有无顾客来到与服务是否完毕是相互独立的。等候室服务台系统随机到达者离去者8例：生灭链观察某生物群落，以Xn表示在时刻n群体的数目，设为i个数量单位，如在时刻n

4、+1增加到i+1个数量单位的概率为bi，减灭到i-1个数量单位的概率为ai，保持不变的概率为ri=1-ai-bi，则{Xn，n>=0}为齐次马尔科夫链，其转移概率为例：仓储系统维修点有一仓库，存储某配件以备维修时使用，该配件每周的消耗量为独立同分布的随机变量，其概率分布为：每周要对该配件进行补充，用Xn表示该仓库在第n周开始未补充配件时的配件个数，补充的原则是如果库存不少于s件，则不补充；如果少于s件，则补充到S件。则随机过程{Xn，n=0,1,…}是一个马尔科夫链。10定义称条件概率为马尔可夫链{Xn,n∈T}的n步转移概率，并称为马尔可夫链的n步转移矩阵。

5、规定例题设马尔可夫链{Xn,n∈T}有状态空间I={0,1}，其一步转移概率矩阵为求和两步转移概率矩阵P(2)11定理设{Xn,n∈T}为马尔可夫链，则对任意整数n≥0，0≤l

6、马尔可夫链，则对任意i1,…,in∈I和n≥1，有15例：某计算机机房的一台计算机经常出故障，研究者每隔15分钟观察一次计算机的运行状态，收集了24个小时的数(共作97次观察)，用1表示正常状态，用0表示不正常状态，所得的数据序列如下：1110010011111110011110111111001111111110001101101111011011010111101110111101111110011011111100111设Xn为第n(n=1,2,…,97)个时段的计算机状态，可以认为它是一个齐次马氏链.求(1)一步转移概率矩阵;(2)已知计算机在某一时段

7、(15分钟)的状态为0，问在此条件下，从此时段起，该计算机能连续正常工作45分钟(3个时段)的条件概率.16例题：天气预报问题1设今日有雨，明日有雨的概率为0.7；今日无雨，明日有雨的概率为0.4。若星期一下雨，求星期四下雨的概率。17例题：天气预报问题2设昨日、今日都下雨，明日有雨的概率为0.7；昨日无雨、今日有雨，明日有雨的概率为0.5；昨日有雨、今日无雨，明日有雨的概率为0.4；昨日、今日均无雨，明日有雨的概率为0.2。若星期一、星期二均下雨，求星期四下雨的概率。例题：无限制随机游动设质点在数轴上移动，每次移动一格，向右移动的概率为p，向左移动的概率为q

8、=1-p，这种运动称为无限制随机游动。