第四章 随机过程课件

《第四章 随机过程课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章马尔可夫(Markov)链4.1马尔可夫链与转移概率一、基本概念定义定义4.04.0设{X(t)，t∈T}为随机过程，若对任意正整数n及t0，且条件分11n-1n-1布P{X(t)≤x

2、X(t)=x,…,X(t)=x}=nn11n-1n-1P{X(t)≤x

3、X(t)=x}，则称{X(t)，tnnn-1n-1∈T}为马尔可夫过程。4.1马尔可夫链与转移概率★若t,t,…,t表示过去，t表示现12n-2n-1在，t表示将来，马尔可夫过程表明：n在已知现在状态的

4、条件下，将来所处的状态与过去状态无关。过去现在将来4.1马尔可夫链与转移概率马尔可夫过程通常分为三类：(1)时间、状态都是离散的，称为马尔可夫链(2)时间连续、状态离散的，称为连续时间马尔可夫链(3)时间、状态都是连续的，称为马尔可夫过程4.1马尔可夫链与转移概率对时间、状态都是离散的随机过程{X，n∈T}，n记参数集T={0,1,2,…}，状态空间I={0,1,2,…}I54321012345T4.1马尔可夫链与转移概率对时间、状态都是离散的随机过程{X，n∈T}，记参数集T={0,1,2,…},n状态空间I={0,

5、1,2,…}定义定义4.14.1若随机过程{Xn，n∈T}，对任意n∈T和i,i,…,i∈I，条件概率01n+1P{X=i

6、X=i,X=i,…,X=i}n+1n+10011nn=P{X=i

7、X=i}，n+1n+1nn则称{X，n∈T}为马尔可夫链，简称n马氏链。4.1马尔可夫链与转移概率定义定义4.24.2称条件概率pij(n)=P{Xn+1=j

8、Xn=i}为马尔可夫链{X，n∈T}在时刻n的一n步转移概率，简称转移概率，其中i,j∈I。Ijinn＋1T4.1马尔可夫链与转移概率定义定义4.34.3若对任意的i,j∈I

9、，马尔可夫链{Xn,n∈T}的转移概率p(n)与n无关，则称马ij尔可夫链是齐次的，并记p(n)为p。ijijI54321012345T4.1马尔可夫链与转移概率齐次马尔可夫链具有平稳转移概率，状态空间设为I={1,2,3,…}，一步转移概率矩阵为⎛p11p12"p1n"⎞⎜⎟⎜p21p22"p2n"⎟P=⎜"""""⎟⎜⎟⎜pp"p"⎟m1m2mn⎜⎟⎝"""""⎠★转移概率满足(1)pij≥i,,0j∈I(2)∑pij=,1i∈Ij∈IP称为随机矩阵4.1马尔可夫链与转移概率(n)定义定义4.44.4称条件概率pi

10、j=P{Xm+n=j

11、Xm=i}为马尔可夫链{X，n∈T}的n步转移概率n(i,j∈I,m≥0,n≥1)。(n)(n)n步转移矩阵Pp=()ij(n)(n)其中pij≥,0∑pij=i,,1j∈Ij∈IP(n)也为随机矩阵)1()1(当n=1时,p=p,P=Pijij⎧,0i≠j)0(当n=0时，规定pij=⎨⎩,1i=j4.1马尔可夫链与转移概率定义定义4.54.5初始概率p=P{X=j}j0绝对概率p(n)P{X==j}jn初始分布{pj,j∈I}绝对分布{}pj(n,)j∈I初始概率向量Tp)0(=(p,p,")

12、12绝对概率向量Tp(n)=(p(n),p(n),")124.1马尔可夫链与转移概率二、基本性质命题命题P{X0=i0,X1=i1,…,Xn=in}=P{X=i

13、X=i,X=i,…,X=i}nn0011n-1n-1P{X=i,X=i,…,X=i}0011n-1n-1=P{X=i

14、X=i}nnn-1n-1P{X=i

15、X=i,X=i,…,X=i}n-1n-10011n-2n-2P{X=i,X=i,…,X=i}0011n-2n-2=P{X=i

16、X=i}P{X=i

17、X=i}nnn-1n-1n-1n-1n-2n-2P{X=i,X

18、=i,…,X=i}0011n-2n-24.1马尔可夫链与转移概率=…=P{X=i

19、X=i}P{X=i

20、X=i}nnn-1n-1n-1n-1n-2n-2…P{X=i

21、X=i}P{X=i}110000★马尔可夫链的统计特性完全由条件概率P{X=i

22、X=i}确定。n+1n+1nn4.1马尔可夫链与转移概率定理定理4.14.1设{Xn，n∈T}为马尔可夫链，则对任意整数n≥0,0≤l

23、"pkn−1jkI11∈∈Ikn−(3)P(n)=PP(n-1)(4)P(n)=Pn4.1马尔可夫链与转移概率证明证明(1)(n){}P{}Xm=i,Xm+n=jp=PX=j

24、X=i=ijm+nm{}PX=imP{}X=i,X=k,X=jP{}X=i,X=kmm+lm+nmm+l=∑k∈IP{}Xm=i,Xm+l=kP{}Xm=i