马尔科夫链――概率与数理统计课件.ppt

《马尔科夫链――概率与数理统计课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第十一章马尔科夫链§11.1马尔科夫过程及其概率分布马尔科夫过程若随机过程{X(t),t∊T}对于任意的正整数n及t1

2、X(t1)=x1,…,X(tn-1)=xn-1}=P{X(tn)xn

3、X(tn-1)=xn-1},xn∊R或写成则称随机过程{X(t),t∊T}为马尔科夫过程.马尔科夫链时间和状态都是离散的马尔科夫过称为马尔科夫链，简称马氏链.记为{Xn=X(n)，n=0,1,2,…}.•它可以看作在时间集T1={0,1,2,…}上的离散状态的马氏过程相继观察的结果.链的状态空

4、间：I={a1,a2,…},ai∊R.3.转移概率对任意得正整数n,r和0≤t1

5、Xm=ai}为马氏链在时刻m,处于状态ai条件下，在时刻m+n转移到状态aj的转移概率.转移概率矩阵由转移概率组成的矩阵称为马氏链的转移概率矩阵.此矩阵的每一行元素之和等于1.•当转移概率Pij(m,m+n)只与i,j及时间距n有关时，把它记为Pij(n),即并称转移概率具有平稳性，同时也称此链是齐次的或时齐的.5.n步转移概率和n步转移矩阵

6、n步转移概率:n步转移概率矩阵:一步转移概率:一步转移概率矩阵:p11p12…p1j…p21p22…p2j………………pi1pi2…pij………………a1a2…aj…a1a2.ai.例1.（0-1传输系统）在如下图只传输数字0和1的串联系统中，设每一级的传真率为p，误码率为q=1-p（输出与输入数字相同的概率称为系统的传真率，相反情形称为误码率）;设一个单位时间传输一级,X0是第一级的输入，Xn是第n级的输出(n≥1),那么是一随机过程.状态空间I={0,1}，而且当Xn=i,i∈I为已知时，Xn+1所处的状态的概率分布只与Xn=i

7、有关，而与时刻n以前所处的状态无关，所以它是一个马氏链，而且还是齐次的.它的一步转移概率和一步转移概率矩阵分别为12nX0X1XnX2Xn-1和例2一维随机游动设一醉汉Q在如下图点集I={1,2,3,4,5}上作随机游动，并且仅仅在1秒、2秒…等时刻发生游动.规律是：(1)如果Q现在位于点i(1

8、n表示时刻n时Q的位置，不同的位置就是Xn的不同状态，那么{Xn,n=0,1,2,…}是一随机过程，状态空间就是I，而且Xn=i,i∈I为已知时，Xn+1所处的状态的概率分布只与Xn=i有关，而与Q在时刻n以前如何达到是完全无关的，所以{Xn,n=0,1,2,…}是一马氏链，而且还是齐次的，它的一步转移概率和一步转移概率矩阵分别为如果把一这一点改为吸收壁，即是说Q一旦到达1这一点，则就永远留在点一上，相应链的转移概率矩阵只须把p中的第一横行改为（1，0，0，0，0）.总之改变游动的概率规则，就可得到不同方式的随机游动和相应的马氏链.

9、随机游动的思想在数值计算方法方面有重要应用.010001/31/31/30001/31/31/30001/31/31/3000101234512345例3排队模型服务系统组成：服务员（1个）,等候室（2人）.服务规则：先到先服务.假定一顾客到达系统时发现系统内已有3个顾客，则该顾客即离去.设时间间隔Δt内，有一个顾客进入系统的概率为q，有一原来被服务的顾客离开系统的概率为p.设当Δt充分小时，在这个时间间隔内多于一个顾客进入或离开系统实际上是不可能的.设有无顾客来到与服务是否完毕是相互独立的.等候室服务台随机到达者离去者系统设Xn=

10、X(nΔt)表示时刻nΔt时系统内的顾客数，即系统的状态.是一随机过程，状态空间I={0,1,2,3}，由前例的分析,可知它是一个齐次马氏链.下面来计算此马氏链的一步转移概率.p00—表示在系统内没有顾客的条件下，经Δt后仍没有顾客的概率（此处是条件概率，以下同）p00=1-q.p01—表示在系统内没有顾客的条件下，经Δt后有一顾客进入系统的概率，p01=q.p10—系统内恰有一个顾客正在接受服务的条件下，经Δt后系统内无人的概率，它等于在Δt间隔内顾客因服务完毕而离去，且无人进入系统的概率，p10=p(1–q)p11—系统内恰有一

11、顾客的条件下，在Δt间隔内，他因服务完毕而离去，而另一顾客进入系统，或者正在接受服务的顾客将继续要求服务，且无人进入系统的概率，p11=pq+(1-p)(1-q).p12—正在接受服务的顾客继续要求服务，且另一个顾客进入系统的概率,p