随机过程课件第5章

《随机过程课件第5章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第五章连续时间马尔可夫链I马尔可夫链54321012345T5.1连续时间马尔可夫链定义定义5.15.1设随机过程{X(t)，t≥0}，状态空间I={0,1,2,…}，若对任意0≤t

2、X(t)=i,X(t)=i,…,X(t)=i}n+1n+11122nn=P{X(t)=i

3、X(t)=i}，n+1n+1nn则称{X(t)，t≥0}为连续时间马尔可夫链。转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率p(s,t)=P{X

4、(s+t)=j

5、X(s)=i}ij5.1连续时间马尔可夫链定义定义5.25.2齐次转移概率pij(s,t)=pij(t)(与起始时刻s无关，只与时间间隔t有关)转移概率矩阵P(t)=(p(t))，i,j∈I，t≥0ij命题：命题：若τi为过程在状态转移之前停留在状态i的时间，则对s,t≥0有(1)P{τ>s+t

6、τ>s}=P{τ>t}iii(2)τ服从指数分布i证(1)事实上5.1连续时间马尔可夫链iiiit0ss+tτi{τ>s}⇔{X(u)=i0,

7、X)0(=i}i{τ>s+t}⇔{X(u)

8、=i0,

9、X)0(=i}5.1连续时间马尔可夫链Ps{

10、τ>+tsPτ>=}{X(uiu)=<≤,0,sii()XvisvstXui=,<≤+

11、()=≤≤,0us}==PXvisvstXui{(),<≤+=

12、(),0≤us≤}条件概率==PXvisvstXsi{(),<≤+=

13、()}马尔可夫性==PXui{(),0

14、(0)}i齐次性=>Pt{}τi5.1连续时间马尔可夫链(2)设τ的分布函数为F(x)(x≥0),则生存函i数G(x)=1-F(x){}{

15、

16、}PtPsτ>=τ>+τ>tsiii{,}{}Psτ>+τ>tsPsτ>+tii{}{i}==Psτ>Psτ>{ii}{}{}移项得：Pτ>+=τ>⋅τ>stPsPtiii()()()GstGsGt+=由此可推出G(x)为指数函数，G(x)=e-λx,则F(x)=1-G(x)=1-e-λx为指数分布函数。5.1连续时间马尔可夫链过程在状态转移之前处于状态i的时间τ服i从指数分布−λixF(x)=1−eτi(1)当λ=+∞时，F(x)=,1P{τ>x}=1−F(x)=,0iτiiτi状态i的停留时间τ超

17、过x的概率为0，i则称状态i为瞬时状态；(2)当λ=0时，Fτ(x)=,0P{τi>x}=1−Fτ(x)=1,iii状态i的停留时间τ超过x的概率为1，则i称状态i为吸收状态。5.1连续时间马尔可夫链定理定理5.15.1齐次马尔可夫过程的转移概率具有：(1)p(t)≥0;ij(2)∑pij(t)=;1j∈I(3)pij(t+s)=∑pik(t)pkj(s)k∈I证明：证明：由概率的定义，(1)(2)显然成立，下证(3)5.1连续时间马尔可夫链p(t+s)=P{X(t+s)=j

18、X)0(=i}ij=∑P{

19、X(t+s)=j,X(t)=k

20、X)0(=i}k∈I=∑P{X(t+s)=j

21、X(t)=k,X)0(=i}k∈I⋅P{X(t)=k

22、X)0(=i}=∑P{X(t+s)=j

23、X(t)=k}P{X(t)=k

24、X)0(=i}k∈I=∑pkj(s)pik(t)=∑pik(t)pkj(s)k∈Ik∈I5.1连续时间马尔可夫链★正则性条件⎧1,ij=limpt()=⎨ijt→0⎩0,ij≠5.1连续时间马尔可夫链正则性分布律转移方程时间()n(0)p≥0,p=1,ij(n)(l)(n−l)iip=pp离散(0)∑p

25、()n=1ij∑ikkjpi=0(≠j)ijijk∈IjI∈时间pt()0≥⎧1,ij=ijlimptij()=⎨pij(t+s)=∑pik(t)pkj(s)连续t→0⎩0,ij≠∑pt()1=k∈IijjI∈5.1连续时间马尔可夫链ptsij()+=∑ptpsik()(kj)kI∈⎛ps1j()⎞⎜⎟ps()⎜2j⎟=()ptpt()()??pt()⎜@⎟ii12ik⎜⎟ps()⎜kj⎟⎜⎟⎝@⎠PtsPtPs()(+=)()PI(0)=5.1连续时间马尔可夫链I初始概率、绝对概率ip(0)p(t)i

26、ijp(t,τ)ijtt+τT5.1连续时间马尔可夫链定义定义5.35.3(1)初始概率pj=pj)0(=P{X)0(=j},j∈I(2)绝对概率pj(t)=P{X(t)=j},j∈I,t≥0(3)初始分布ppjI={j,∈}(4)绝对分布pt()={ptj(),jI∈≥}t05.1连续时间马尔可夫链定理定理5.25.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：(1)p(t)≥0j(2)∑pj(t)=1j∈I(3)pj(t)=