随机过程ch5 连续时间马尔可夫链

《随机过程ch5 连续时间马尔可夫链》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第五章连续时间马尔可夫链I马尔可夫链54321012345T25.1连续时间马尔可夫链定义5.1设随机过程{X(t)，t0}，状态空间I={0,1,2,}，若对任意0t1

2、X(t1)=i1,X(t2)=i2,,X(tn)=in}=P{X(tn+1)=in+1

3、X(tn)=in}，则称{X(t)，t0}为连续时间马尔可夫链。转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率pij(s,t)=P{X(s+t)=j

4、X(s)=i}35.1连续时间马尔可夫链定义5.2齐次转移概率pij(s,t

5、)=pij(t)(与起始时刻s无关，只与时间间隔t有关)转移概率矩阵P(t)=(pij(t))，i,jI，t0性质：若i为过程在状态转移之前停留在状态i的时间，则对s,t0有(1)(2)i服从指数分布45.1连续时间马尔可夫链ss+t0iiiiti证(1)事实上55.1连续时间马尔可夫链65.1连续时间马尔可夫链(2)设i的分布函数为F(x),(x0),则生存函数G(x)=1-F(x)由此可推出G(x)为指数函数，G(x)=e-x,则F(x)=1-G(x)=1-e-x为指数分布函数。75.1连续时间马尔可夫链过程在状态转移之前处于状态i的时间i服从指数分布(1)当i

6、=时，状态i的停留时间i超过x的概率为0，则称状态i为瞬时状态；(2)当i=0时，状态i的停留时间i超过x的概率为1，则称状态i为吸收状态。85.1连续时间马尔可夫链定理5.1齐次马尔可夫过程的转移概率具有下列性质：(1)pij(t)0;(2)(3)证由概率的定义，(1)(2)显然成立，下证(3)95.1连续时间马尔可夫链105.1连续时间马尔可夫链注：此为转移概率的正则性条件。11正则性分布律转移方程时间离散时间连续125.1连续时间马尔可夫链定义5.3(1)初始概率(2)绝对概率(3)初始分布(4)绝对分布定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：13

7、5.1连续时间马尔可夫链(1)pj(t)0(2)(3)(4)(5)145.1连续时间马尔可夫链例5.1证明泊松过程{X(t),t0}为连续时间齐次马尔可夫链。证先证泊松过程的马尔可夫性。泊松过程是独立增量过程，且X(0)=0，对任意0

8、(t)是t的一致连续函数。定理5.3设pij(t)是齐次马尔可夫过程的转移概率，则下列极限存在185.2柯尔莫哥洛夫微分方程称为齐次马尔可夫过程从状态i到状态j的转移速率（跳跃强度）。推论对有限齐次马尔可夫过程，有195.2柯尔莫哥洛夫微分方程若连续时间齐次马尔可夫链具有有限状态空间I={0,1,2,,n}问题：能否由Q可求转移概率？205.2柯尔莫哥洛夫微分方程定理5.4(柯尔莫哥洛夫向后方程)假设，则对一切i,j及t0，有证由切普曼-柯尔莫哥洛夫方程有215.2柯尔莫哥洛夫微分方程定理5.5(柯尔莫哥洛夫向前方程)在适当的正则条件下有225.2柯尔莫哥洛夫微分方程向后方程的矩阵形式

9、：P(t)=QP(t)向前方程的矩阵形式：P(t)=P(t)Q注：235.2柯尔莫哥洛夫微分方程定理5.6齐次马尔可夫过程在t时刻处于状态jI的绝对概率pj(t)满足方程：证245.2柯尔莫哥洛夫微分方程255.2柯尔莫哥洛夫微分方程定义5.4设pij(t)是连续时间马尔可夫链的转移概率，若存在时刻t1和t2，使得pij(t1)>0，pji(t2)>0，则称状态i与j是互通的。若所有状态都是互通的，则称此马尔可夫链为不可约的。可定义状态的常返性265.2柯尔莫哥洛夫微分方程例5.2设两个状态的连续时间马尔可夫链，状态转移概率满足，试讨论平稳分布。275.2柯尔莫哥洛夫微分方程285.

10、2柯尔莫哥洛夫微分方程295.2柯尔莫哥洛夫微分方程转移概率为305.2柯尔莫哥洛夫微分方程转移概率的极限为平稳分布为315.2柯尔莫哥洛夫微分方程若取初始分布为平稳分布，即则过程在时刻t的绝对概率分布为325.2柯尔莫哥洛夫微分方程335.2柯尔莫哥洛夫微分方程定理5.7设连续时间马尔可夫链是不可约的，则有下列性质：(1)若它是正常返的，则极限存在且等于j>0，jI。这里j是的唯一非负解，此时称{j>0，jI