随机过程马尔科夫过程专题培训课件

《随机过程马尔科夫过程专题培训课件》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、随机过程马尔科夫过程4.1马尔可夫链与转移概率定义设{X(t)，tT}为随机过程，若对任意正整数n及t10，且条件分布P{X(tn)xnX(t1)=x1,,X(tn-1)=xn-1}=P{X(tn)xnX(tn-1)=xn-1}，则称{X(t)，tT}为马尔可夫过程。☆若t1,t2,,tn-2表示过去，tn-1表示现在，tn表示将来，马尔可夫过程表明：在已知现在状态的条件下，将来所处的状态与过去状态无关。24.1马尔可夫

2、链与转移概率马尔可夫过程通常分为三类：(1)时间、状态都是离散的，称为马尔可夫链(2)时间连续、状态离散的，称为连续时间马尔可夫链(3)时间、状态都是连续的，称为马尔可夫过程34.1马尔可夫链与转移概率随机过程{Xn，nT}，参数T={0,1,2,},状态空间I={i0,i1,i2,}定义若随机过程{Xn，nT}，对任意nT和i0,i1,,in+1I，条件概率P{Xn+1=in+1X0=i0,X1=i1,,Xn=in}=P{Xn+1=in+1Xn=in}，则称{Xn，nT}为马尔可夫链

3、，简称马氏链。44.1马尔可夫链与转移概率马尔可夫链的性质P{X0=i0,X1=i1,,Xn=in}=P{Xn=inX0=i0,X1=i1,,Xn-1=in-1}P{X0=i0,X1=i1,,Xn-1=in-1}=P{Xn=inXn-1=in-1}P{Xn-1=in-1X0=i0,X1=i1,,Xn-2=in-2}P{X0=i0,X1=i1,,Xn-2=in-2}=P{Xn=inXn-1=in-1}P{Xn-1=in-1Xn-2=in-2}P{X0=i0,X1=i1,,Xn-2=in-2}5

4、4.1马尔可夫链与转移概率==P{Xn=inXn-1=in-1}P{Xn-1=in-1Xn-2=in-2}P{X1=i1X0=i0}P{X0=i0}马尔可夫链的统计特性完全由条件概率P{Xn+1=in+1Xn=in}确定。64.1马尔可夫链与转移概率定义称条件概率pij(n)=P{Xn+1=jXn=i}为马尔可夫链{Xn，nT}在时刻n的一步转移概率，简称转移概率，其中i,jI。定义若对任意的i,jI，马尔可夫链{Xn,nT}的转移概率pij(n)与n无关，则称马尔可夫链是齐次的，并记pij

5、(n)为pij。齐次马尔可夫链具有平稳转移概率，状态空间I={1,2,3,}，一步转移概率为74.1马尔可夫链与转移概率转移概率性质(1)(2)P称为随机矩阵84.1马尔可夫链与转移概率定义称条件概率=P{Xm+n=jXm=i}为马尔可夫链{Xn，nT}的n步转移概率(i,jI,m0,n1)。n步转移矩阵其中P(n)也为随机矩阵94.1马尔可夫链与转移概率定理4.1设{Xn，nT}为马尔可夫链，则对任意整数n0,0l

6、n-1)(4)P(n)=Pn104.1马尔可夫链与转移概率证(1)114.1马尔可夫链与转移概率(2)在(1)中令l=1,k=k1,得由此可递推出公式(3)矩阵乘法(4)由(3)推出说明：(1)此为C-K方程(切普曼-柯尔莫哥洛夫)(2)n步转移概率由一步转移概率确定，n步转移概率矩阵由一步转移概率矩阵确定(n次幂)124.1马尔可夫链与转移概率初始概率绝对概率初始分布绝对分布初始概率向量绝对概率向量定义134.1马尔可夫链与转移概率设{Xn，nT}为马尔可夫链，则对任意整数jI和n1，绝对概率p

7、j(n)具有性质(1)(2)(3)PT(n)=PT(0)P(n)(4)PT(n)=PT(n-1)P定理4.2144.1马尔可夫链与转移概率证(1)154.1马尔可夫链与转移概率(2)(3)(4)为(1)(2)的矩阵表示。164.1马尔可夫链与转移概率定理4.3设{Xn，nT}为马尔可夫链，则对任意整数i1,i2,,inI和n1，有性质证174.1马尔可夫链与转移概率例4.1无限制随机游动qp-101i-1ii+1一步转移概率:184.1马尔可夫链与转移概率n步转移概率:i经过k步进入j,向右移了

8、x步,向左移了y步则194.1马尔可夫链与转移概率例4.2赌徒输光问题甲有赌资a元，乙有赌资b元，赌一局输者给赢者1元，无和局。甲赢的概率为p，乙赢的概率为q=1-p，求甲输光的概率。解状态空间I={0,1,2,,c}，c=a+bqpa-1aa+10a+b204.1马尔可夫链与转移概率设ui表示甲从状态i出发转移到状态0的概率，求ua显然u0=1，uc=0(u0表示已知甲输光情形下甲输光的概率，uc表示已知乙输光情形下甲输光的概率)ui=