中南大学随机过程第九章

《中南大学随机过程第九章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、随机过程与排队论数学科学与计算技术学院胡朝明Email：math_hu2000@csu.edu.cn6/15/2021上一讲内容回顾齐次马氏链状态的分类互通首达常返与非常返正常返与零常返状态空间分解不可约马氏链状态的周期性6/15/20212胡朝明本讲主要内容连续参数马尔可夫链转移概率函数、转移矩阵连续参数齐次马氏链初始分布、绝对分布、遍历性、平稳分布转移概率函数的性质状态转移速度矩阵生灭过程6/15/20213胡朝明§3.4连续参数马尔可夫链类似离散参数马氏链，只是把离散的时间参数改为连续的时间参数，便可得到类

2、似的结果。设随机过程{X(t),t0}，状态空间E={0,1,2,…}。若对于0

3、X(t1)=i1,X(t2)=i2,…,X(tn)=in}＝P{X(tn+1)＝in+1

4、X(tn)=in}即马尔可夫性成立，则称{X(t),t0}为连续参数马尔可夫链。6/15/20214胡朝明转移概率函数设{X(t),t0}为连续参数马氏链，对任意i,jE＝{0,1,2,…}，任意非负实数s,t，条件概率pij(s,t)

5、＝P{X(t+s)=j

6、X(s)=i}称为此马氏链{X(t),t0}的转移概率函数，显然我们称P(s,t)＝(pij(s,t))i,jE为此马氏链的转移矩阵。这里，pij(s,t)的直观意义是：系统(或质点)在时刻s时处于状态i，再经过t时间转到状态j的条件概率。6/15/20215胡朝明连续参数齐次马氏链若{X(t),t0}为连续参数马氏链的转移概率pij(s,t)与时间起点s无关，即pij(s,t)＝P{X(s+t)=j

7、X(s)=i}＝pij(t)则称{X(t),t0}为连续参数齐次马氏链。类似地，

8、一般地，我们要求齐次马氏链的转移概率函数满足如下的连续性条件：P(t)＝(pij(t))i,jE称为此齐次马氏链的转移矩阵。0pij(t)1，6/15/20216胡朝明绝对分布、遍历性、平稳分布设{X(t),t0}为连续参数齐次马氏链则称{vj，jE}为齐次马氏链{X(t),t0}的平稳分布。pj＝P{X(0)=j}，jE，称{pj,jE}为该马氏链的初始分布；Pj(t)＝P{X(t)=j}，jE，称{pj(t),jE}为该马氏链的绝对分布；如果转移概率极限存在，，且与i无关则称此连续参数齐次

9、马氏链为遍历的马氏链，此时，我们说该链具有遍历性。若j>0，，则称{j,jE}为齐次马氏链{X(t),t0}的极限分布。如果{vj,jE}满足6/15/20217胡朝明转移概率函数的性质0pij(t)1，i,jE；连续性条件：pij(t)满足C-K方程矩阵形式:P(t+s)＝P(t)P(s)绝对概率满足如果齐次马氏链{X(t),t0}是遍历马氏链，则6/15/20218胡朝明转移概率函数的性质(续1)设齐次马氏链{X(t),t0}的状态有限，E={0,1,2,…,s}，如果存在t0>0，使得对

10、任意i,jE，都有pij(t0)>0，则此齐次马氏链{X(t),t0}为遍历的齐次马氏链。即存在且与i无关，并且极限分布{j,jE}是唯一的平稳分布：对固定的i,j，函数pij(t)是t>0的一致连续函数。满足连续性条件的连续参数齐次马氏链{X(t),t0}存在下列极限其中qi表示在时刻t时通过状态i的通过速度(或通过强度)；qij表示时刻t时从状态i转移到状态j的速度(或强度)，qij统称转移速度。6/15/20219胡朝明状态转移速度矩阵设连续参数齐次马氏链{X(t),t0}，状态空间E={0,1

11、,2,…,s}，下面s+1阶方阵：称为齐次马氏链{X(t),t0}的状态转移速度矩阵，简称Q-矩阵。由连续性条件和导数的定义，显然有即P’(+0)＝Q。6/15/202110胡朝明转移概率函数的性质(续2)设齐次马氏链{X(t),t0}，状态空间E={0,1,2,…,s}，其转移速度设{X(t),t0}为连续参数齐次马氏链，当qi<+，＝qi时，满足柯尔莫哥洛夫后退微分方程即P’(t)＝QP(t)设{X(t),t0}为连续参数齐次马氏链,当qi<+,＝qri时，则有柯尔莫哥洛夫前进微分方程即P’(t)

12、＝P(t)Q6/15/202111胡朝明转移概率函数的性质(续3)绝对概率满足（福克-普朗克方程）齐次不可约连续参数马氏链{X(t),t0}存在极限分布，即为平稳分布{j,jE}即Q＝0（零向量）6/15/202112胡朝明§3.5生灭过程设{X(t),t0}是连续参数齐次马氏链，状态空间E＝{0,1,2,…,N}，如果它的状态转移速度矩阵为则称{X(t),t