z随机过程Ch5.ppt

《z随机过程Ch5.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第五章连续时间马尔可夫链I马尔可夫链54321012345T25.1连续时间马尔可夫链定义5.1设随机过程{X(t)，t0}，状态空间I={0,1,2,}，若对任意0t1

2、X(t1)=i1,X(t2)=i2,,X(tn)=in}=P{X(tn+1)=in+1

3、X(tn)=in}，则称{X(t)，t0}为连续时间马尔可夫链。转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率pij(s,t)=P{X

4、(s+t)=j

5、X(s)=i}35.1连续时间马尔可夫链定义5.2齐次转移概率pij(s,t)=pij(t)(与起始时刻s无关，只与时间间隔t有关)转移概率矩阵P(t)=(pij(t))，i,jI，t0命题：若i为过程在状态转移之前停留在状态i的时间，则对s,t0有(1)(2)i服从指数分布证(1)事实上45.1连续时间马尔可夫链ss+t0iiiiti55.1连续时间马尔可夫链65.1连续时间马尔可夫链(2)设i的分布函数为F(x),(x0),则生存函数G(x)=1-F(x)由此可推

6、出G(x)为指数函数，G(x)=e-x,则F(x)=1-G(x)=1-e-x为指数分布函数。75.1连续时间马尔可夫链过程在状态转移之前处于状态i的时间i服从指数分布(1)当i=+时，状态i的停留时间i超过x的概率为0，则称状态i为瞬时状态；(2)当i=0时，状态i的停留时间i超过x的概率为1，则称状态i为吸收状态。85.1连续时间马尔可夫链定理5.1齐次马尔可夫过程的转移概率具有：(1)pij(t)0;(2)(3)证明：由概率的定义，(1)(2)显然成立，下证(3)95.1连续时

7、间马尔可夫链105.1连续时间马尔可夫链★正则性条件11正则性分布律转移方程时间离散时间连续5.1连续时间马尔可夫链125.1连续时间马尔可夫链13I初始概率、绝对概率ipi(0)pi(t)tt+τTjpij(t,τ)5.1连续时间马尔可夫链145.1连续时间马尔可夫链定义5.3(1)初始概率(2)绝对概率(3)初始分布(4)绝对分布155.1连续时间马尔可夫链定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：(1)pj(t)0(2)(3)(4)(5)165.1连续时间马尔可夫链例

8、5.1证明泊松过程{X(t),t0}为连续时间齐次马尔可夫链。证明：先证泊松过程的马尔可夫性。泊松过程是独立增量过程，且X(0)=0，对任意0

9、t)是t的一致连续函数。定理5.3设pij(t)是齐次马尔可夫过程的转移概率，则下列极限存在205.2柯尔莫哥洛夫微分方程★称为齐次马尔可夫过程从状态i到状态j的转移速率（跳跃强度）。推论对有限齐次马尔可夫过程，有215.2柯尔莫哥洛夫微分方程225.2柯尔莫哥洛夫微分方程若连续时间齐次马尔可夫链具有有限状态空间I={0,1,2,,n},则问题：能否可由Q求转移概率？235.2柯尔莫哥洛夫微分方程定理5.4(柯尔莫哥洛夫向后方程)假设，则对一切i,j及t0，有证明：由切普曼-柯尔莫哥洛夫方程有2

10、45.2柯尔莫哥洛夫微分方程定理5.5(柯尔莫哥洛夫向前方程)在适当的正则条件下有255.2柯尔莫哥洛夫微分方程向后方程的矩阵形式：P(t)=QP(t)向前方程的矩阵形式：P(t)=P(t)Q★265.2柯尔莫哥洛夫微分方程定理5.6齐次马尔可夫过程在t时刻处于状态jI的绝对概率pj(t)满足方程：证明：275.2柯尔莫哥洛夫微分方程285.2柯尔莫哥洛夫微分方程定义5.4设pij(t)是连续时间马尔可夫链的转移概率，若存在时刻t，使得pij(t)>0，则称状态i可达状态j。若存在时刻t1和t

11、2，使得pij(t1)>0，pji(t2)>0，则称状态i与j是互通的。若所有状态都是互通的，则称此马尔可夫链为不可约的。295.2柯尔莫哥洛夫微分方程定义5.5状态i为常返的，若状态i为正常返的；若状态i为零常返的；若305.2柯尔莫哥洛夫微分方程定理5.7设连续时间马尔可夫链是不可约的，则有下列性质：(1)若它是正常返的，则极限存在且等于j>0，jI。这里j是的唯一非负解，此时称{j>0，jI}是该过程的平稳分布。(2)若它是零常返的或非常返的，则315