随机过程第五章.doc

《随机过程第五章.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1.定义：时间连续、状态离散的马尔科夫过程。设随机过程，状态空间,若对任意的有则称其为连续时间马尔科夫链。马尔可夫过程的任意有限维分布函数均可用它的初始分布和二维条件分布函数来确定。转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率:齐次转移概率：(转移概率与起始时刻s无关，只与时间间隔t有关)转移概率矩阵：.2.齐次马尔科夫过程的性质：；3.转移概率的正则性条件:过程刚进入某状态不可能立即又跳跃到另一状态。4.初始概率5.绝对概率6.初始分布7.绝对分布8.停留时间的概率：为过程在状态转移之前停留在状态i的时间，则对有：1>;2>服从参数为指数分布，；当无穷时：状态i的停留时

2、间超过x的概率为0，则称状态i为瞬时状态;当=0时：状态i的停留时间超过x的概率为0，则称状态i为吸收状态;3>当过程离开状态时，接着以概率进入j状态.在状态i过程停留的时间与下一个到达的状态必须是相互独立的随机变量。9.科尔莫戈罗夫微分方程齐次马尔可夫过程满足正则性条件，则对于任意i,j∈I,是t的一致连续函数科尔莫戈罗夫向后方程：；科尔莫戈罗夫向前方程：：为的导数。==初始条件：若Q为一个有限矩阵则有：10转移速率：是齐次马尔可夫过程的转移概率，在下列极限存在：1）；2）。3）为齐次马尔可夫过程从状态i到状态j的转移速率；1）对有限齐次马尔可夫过程；2）对状态空间无限的齐次马尔可夫过

3、程。11Q矩阵12绝对概率齐次马尔可夫过程在t时刻处于状态的绝对概率满足方程:13.互通设是连续时间马尔可夫链的转移概率，若存在时刻，使得，，则称状态i与j是互通的。若所有状态都是互通的，则称此马尔可夫链为不可约的。14.渐近性质设时间连续的马尔可夫链为不可约的，具有如下性质：1）若其为正常返的则。为方程组的唯一非负解，此时称是该过程的平稳分布并且有2）若其为零常返或非常返的，则15生灭过程设其次马尔科夫过程的状态空间为，转移概率为如果：。则称其为生灭过程为出生率为死亡率。为正常数，则称其为线性生灭过程。若=0则为纯生过程。若=0则为纯灭过程平稳分布存在的充要条件：