资源描述：
《应用数学基础 随机过程-2》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、马尔可夫过程硕士研究生学位课程《应用数学基础》主讲教师段禅伦2008年秋季学期(演示文稿)(Markoffprocess)第四章马尔可夫链马尔可夫链是最简明的马尔可夫过程,它是状态、时间都是离散量的马尔可夫过程.马尔可夫过程是随机过程中历史最悠久且充满活力的一类随机过程.自20世纪初俄罗斯数学家A.A.MapkoB等人开始研究马尔可夫过程以来,可以说久盛不衰.它有极为深厚的理论基础,如拓扑学、函数论、泛函分析、近世代数和几何学;又有广泛的应用空间,如近代物理、随机分形、公共事业中的服务系统、电子信息、计算机技术等.自然界很多现象遵从这样的演变规则:由
2、时刻t0系统或过程所处的状态(现在)可以决定系统或过程在时刻t＞t0所处的状态(将来),而无需借助于t0以前系统或过程所处状态(过去)的历史资料.如微分方程初值问题即属于此.马尔可夫链的概念及转移概率4.1马尔可夫链的概念及转移概率1.马尔可夫链的定义设随机过程{Xn,n∈T}的参数集T={0,1,2,…},Xn可能取值的全体组成的状态空间为I={i1,i2,i3,…}.定义4.1设有随机过程{Xn,n∈T},若对于任意的整数n∈T和任意的i0,i1,…,in+1∈I,条件概率满足P{Xn+1=in+1
3、X0=i0,X1=i1,…,Xn=in}=P{
4、Xn+1=in+1
5、Xn=in}(4.1)则称{Xn,n∈T}为马尔可夫链,简称马氏链.(4.1)是马尔可夫链的马氏性(也称无后效性)的数学表达式.利用积事件的概率及上述定义知:马尔可夫链的概念及转移概率P{X0=i0,X1=i1,…,Xn=in}=P{Xn=in
6、X0=i0,X1=i1,…,Xn-1=in-1}P{X0=i0,X1=i1,…,Xn-1=in-1}=P{Xn=in
7、Xn-1=in-1}P{X0=i0,X1=i1,…,Xn-1=in-1}=…=P{Xn=in
8、Xn-1=in-1}P{Xn-1=in-1
9、Xn-2=in-2}…P{X1=i
10、1
11、X0=i0}P{X0=i0}.即马尔可夫链的统计特性完全由条件概率P{Xn+1=in+1
12、Xn=in}所决定.如何确定这个条件概率,是马尔可夫链理论和应用中的重要问题之一.马尔可夫链的概念及转移概率2.转移概率条件概率P{Xn+1=j
13、Xn=i}的直观含义是:系统在时刻n处于状态i的条件下,在时刻n+1系统处于状态j的概率.这相当于随机游动的质点在时刻n处于状态i的条件下,下一步转移到状态j的概率.记此条件概率为pij(n),其严格定义是:定义4.2称条件概率pij(n)=P{Xn+1=j
14、Xn=i}为马尔可夫链{Xn,n∈T}在时刻n的一步转移
15、概率,简称为转移概率,其中i,j∈I.一般,转移概率pij(n)不仅与状态i,j有关,而且与时刻n有关.当pij(n)不依赖时刻n时,表示马尔可夫链具有平稳马尔可夫链的概念及转移概率转移概率.定义4.3若对任意的i,j∈I,马尔可夫链{Xn,n∈T}的转移概率pij(n)与时间n无关,则称马尔可夫链是齐次的,(亦称是时齐的,即具有平稳转移概率)并记pij(n)为pij.下面只讨论齐次马尔可夫链,并将齐次两字省略.设P为一步转移概率pij所组成的矩阵,状态空间I={1,2,…},则P=称为系统状态的一步转移概率矩阵.一步转移概率矩阵具有性质:p11p1
16、2…p1n…p21p22…p2n………………pi1pi2…pin………………马尔可夫链的概念及转移概率(1)pij≥0,i,j∈I;(2)pij=1,i∈I.(2)式中对j求和,是对状态空间I的所有可能状态进行的,此性质说明一步转移概率矩阵中任一行元素之和为1.通常称满足(1)、(2)性质的矩阵为随机矩阵.为进一步讨论马尔可夫链的统计性质,还须了解n步转移概率,初始概率和绝对概率的概念.定义4.4称条件概率pij(n)=P{Xm+n=j
17、Xm=i},i,j∈I,m≥0,n≥1为马尔可夫链{Xn,n∈T}的n步转移概率,并称P(n)=(pij(n))为
18、马尔可夫链的n步转移矩阵,其中pij(n)≥0,pij(n)=马尔可夫链的概念及转移概率1,即P(n)也是随机矩阵.当n=1时,pij(1)=pij,此时一步转移矩阵P(1)=P.此外规定pij(0)=(P(0)是单位矩阵).例4.1(一维随机游动)设一醉汉Q(即一随机游动的质点),在如右上图所示的直线点集I={1,2,3,4,5}作随机游动,并且仅仅在1秒,2秒…等时刻发生游动.游动的概率规则是:如果Q现在位于点i(1＜i＜5),则下一时刻各以1/3的概率向左或向右移动一格,或以1/3的概率留在原处;如果Q现在位于点1(或5)上,则下一时刻就以概率
19、1移动到点2(或4)上.点1与5称为反射壁.并称上述这种游动为带有两个反射壁的随机游动.若以Xn表示时刻n时
