第7-8讲随机过程

《第7-8讲随机过程》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、中科院研究生院2011～2012第一学期随机过程讲稿孙应飞第二章Markov过程7．参数连续状态离散的马氏过程（一）参数连续状态离散的马氏过程的转移概率定义：设{X(t),t≥0}是取值于状态空间S的随机过程，S是有限或无限可列的，如果对于任意的正整数n，任意的0≤t

2、jX(t′),0≤t′≤t}=P{X(t)=jX(t)=i}t≤t,i,j∈S212112记：p(t,t)=ˆP{X(t)=jX(t)=i}ij1221称此条件概率为纯不连续马氏过程的转移概率。显然有：p(t,t)≥0ij12∑p(t,t)=1i∈Sij12j∈S如果p(t,t)仅为时间差t=t−t的函数，而与t和t的值无关，则称此ij122112纯不连续马氏过程为齐次的。此时p(t)=p(t,t)=ˆP{X(t)=jX(t)=i}t=t−tijij122121中科院研究生院2011～2012第一学期随机过程讲稿孙应飞p(t)≥0i,j∈S,t≥0ij∑p(t)=1i

3、∈S,t≥0ijj∈S以下我们主要讨论齐次纯不连续马氏过程。纯不连续马氏过程的C－K方程：一般情形：P{X(t)=jX(t)=i}=31=∑P{X(t3)=jX(t2)=k}P{X(t2)=kX(t1)=i}k∈S(t0,τ>0)ijikkjk∈S连续性条件：1,i=jlimpij(t)=δij=t→00,i≠j满足连续性条件的马氏过程称为随机连续的马氏过程。注：i,j固定时，可以证明齐次纯不连续，并且随机连续的马氏过程的转移概率p(t)是关于t的一致连续函数，并且是可微的。ij（二）

4、无穷小转移率q及转移率矩阵（Q矩阵）ij取任意充分小的∆t>0，由连续性条件及上面的注，我们有：p(∆t)=p(0)+q∆t+ο(∆t)=δ+q∆t+ο(∆t)ijijijijij即：p(∆t)−δijijq=limij∆t→0∆t我们称q为从状态i到状态j的无穷小转移率或跳跃强度，显然有：ij中科院研究生院2011～2012第一学期随机过程讲稿孙应飞p(∆t)ijlim,i≠j∆t→0∆tqij=p(∆t)−1iilim,i=j∆t→0∆t即有：q≥0,(i≠j),q≤0,(i=j)ijij由∑p(∆t)=1及上面的式子，有：ijj∈Sο(∆t)1=1+∑q

5、ij∆t+∑ο(∆t)⇒∑qij=∑j∈Sj∈Sj∈Sj∈S∆t两边求极限，即有：∑q=0ijj∈S当状态有限的时候，我们可以定义一个矩阵如下：q00q01q02Lq0nq10q11q12Lq1nQ=MMMMqn0qn1qn2Lqnn(n+1)×(n+1)称Q为转移率矩阵或Q矩阵。注：当状态为无限可列时，也可以定义形式上的Q矩阵。（三）Kolmogrov—Feller前进方程由C－K方程，取任意充分小的∆t>0，有：pij(t+∆t)=∑pik(t)pkj(∆t)=k∈S=pij(t)pjj(∆t)+∑pik(t)pkj(∆t)(i∈S)k∈

6、S,k≠j由：中科院研究生院2011～2012第一学期随机过程讲稿孙应飞p(∆t)=q∆t+ο(∆t)k≠jkjkjp(∆t)=1+q∆t+ο(∆t)jjjj有：p(t+∆t)=ij=pij(t)[1+qjj∆t+ο(∆t)]+∑pik(t)[qkj∆t+ο(∆t)]k∈S,k≠j即有：pij(t+∆t)−pij(t)ο(∆t)=∑pik(t)qkj+∆tk∈S∆t令∆t→0，我们有：dp(t)ij=∑p(t)qi,j∈S,t≥0ikkjdtk∈S由初始条件：p(0)=0i≠jijp(0)=1ii即可求解上面的方程组。当状态有限时，我们令：Γ(t)=(p(t),p(t),

7、L,p(t))ii0i1in则有：dΓ(t)i=Γ(t)Qi=0,1,2,L,nidtΓ(0)=()0,0,L,1,L0i进一步，若记：Γ0(t)p00(t)p01(t)Lp0n(t)Γ1(t)p10(t)p11(t)Lp1n(t)P(t)==MMMMΓ(t)p(t)p(t)Lp(t)nn0n1nn(n+1)×(n+1)则有：中科院研究生院2011～2012第一学期随机过程讲稿孙应飞dP(