《马尔可夫链》PPT课件

《马尔可夫链》PPT课件

ID:41359666

大小:1.56 MB

页数:113页

时间:2019-08-22

《马尔可夫链》PPT课件_第1页
《马尔可夫链》PPT课件_第2页
《马尔可夫链》PPT课件_第3页
《马尔可夫链》PPT课件_第4页
《马尔可夫链》PPT课件_第5页
资源描述:

《《马尔可夫链》PPT课件》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、第四章马尔可夫链4.1马尔可夫链与转移概率定义设{X(t),tT}为随机过程,若对任意正整数n及t10,且条件分布P{X(tn)xn

2、X(t1)=x1,,X(tn-1)=xn-1}=P{X(tn)xn

3、X(tn-1)=xn-1},则称{X(t),tT}为马尔可夫过程。☆若t1,t2,,tn-2表示过去,tn-1表示现在,tn表示将来,马尔可夫过程表明:在已知现在状态的条件下,将来所处的状态与过去状态无关。24.1马尔可夫链与转移概率常见马尔可夫过程通常

4、有三类:(1)时间、状态都是离散的,称为马尔可夫链(2)时间连续、状态离散的,称为连续时间马尔可夫链(3)时间、状态都是连续的,称为马尔可夫过程(时间离散、状态连续的马尔可夫过程,通常用泛函中二元函数的范数进行研究)3随机过程{Xn,nT},参数T={0,1,2,},状态空间I={i0,i1,i2,}定义若随机过程{Xn,nT},对任意nT和i0,i1,,in+1I,条件概率P{Xn+1=in+1

5、X0=i0,X1=i1,,Xn=in}=P{Xn+1=in+1

6、Xn=in},则称{Xn,nT}为马尔可夫链,简称马氏链

7、。4.1马尔可夫链与转移概率44.1马尔可夫链与转移概率马尔可夫链的性质P{X0=i0,X1=i1,,Xn=in}=P{Xn=in

8、X0=i0,X1=i1,,Xn-1=in-1}P{X0=i0,X1=i1,,Xn-1=in-1}=P{Xn=in

9、Xn-1=in-1}P{Xn-1=in-1

10、X0=i0,X1=i1,,Xn-2=in-2}P{X0=i0,X1=i1,,Xn-2=in-2}=P{Xn=in

11、Xn-1=in-1}P{Xn-1=in-1

12、Xn-2=in-2}P{X0=i0,X1=i1,,Xn-2=in-2}54.1马

13、尔可夫链与转移概率==P{Xn=in

14、Xn-1=in-1}P{Xn-1=in-1

15、Xn-2=in-2}P{X1=i1

16、X0=i0}P{X0=i0}马尔可夫链的统计特性完全由条件概率P{Xn+1=in+1

17、Xn=in}确定。64.1马尔可夫链与转移概率定义称条件概率pij(n)=P{Xn+1=j

18、Xn=i}为马尔可夫链{Xn,nT}在时刻n的一步转移概率,简称转移概率,其中i,jI。定义若对任意的i,jI,马尔可夫链{Xn,nT}的转移概率pij(n)与n无关,则称马尔可夫链是齐次的,并记pij(n)为pij。齐次马尔可夫链

19、具有平稳转移概率,状态空间I={1,2,3,},一步转移概率为74.1马尔可夫链与转移概率转移概率性质(1)(2)P称为随机矩阵84.1马尔可夫链与转移概率例4.1赌博问题。甲乙二人进行一系列赌博,甲有a元,乙的赌本无限,每赌一局输者给赢者1元,没有和局,如果甲输光,再输则赌本为负。设在每一局中,甲赢的概率为p,输的概率为q=1-p。设Xn表示第n次赌博结束后甲的赌本,则Xn,n≥1是马尔科夫链,求Xn的转移矩阵94.1马尔可夫链与转移概率例4.1无限制随机游动qp-101i-1ii+1一步转移概率:104.1马尔可夫链与转移概率n

20、步转移概率:i经过k步进入j,向右移了x步,向左移了y步则114.1马尔可夫链与转移概率例4.4具有吸收壁和反射壁的随机游动状态空间{1,2,3,4},1为吸收壁,4为反射壁状态转移图状态转移矩阵124.1马尔可夫链与转移概率定义称条件概率=P{Xm+n=j

21、Xm=i}为马尔可夫链{Xn,nT}的n步转移概率(i,jI,m0,n1)。n步转移矩阵其中P(n)也为随机矩阵134.1马尔可夫链与转移概率定理4.1设{Xn,nT}为马尔可夫链,则对任意整数n0,0l

22、)=PP(n-1)(4)P(n)=Pn144.1马尔可夫链与转移概率证(1)154.1马尔可夫链与转移概率(2)在(1)中令l=1,k=k1,得由此可递推出公式(3)矩阵乘法(4)由(3)推出说明:(1)此为C-K方程(切普曼-柯尔莫哥洛夫)(2)n步转移概率由一步转移概率确定,n步转移概率矩阵由一步转移概率矩阵确定(n次幂)164.1马尔可夫链与转移概率初始概率绝对概率初始分布绝对分布初始概率向量绝对概率向量定义174.1马尔可夫链与转移概率设{Xn,nT}为马尔可夫链,则对任意整数jI和n1,绝对概率pj(n)具有性质(1)

23、(2)(3)PT(n)=PT(0)P(n)(4)PT(n)=PT(n-1)P定理4.218例如,设马氏链的状态空间I={1,2},那么时刻n的绝对概率分布应满足PT(n)=(p1(n),p2(n))PT(n)=PT(0)

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。