泊松过程、马尔科夫链

《泊松过程、马尔科夫链》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第七章泊松过程、马尔科夫链按随机过程的不同性质进行分类，是一种更深刻、更能反映实际背景的分类方法。本章介绍几种常用的随机过程类型：独立增量过程、泊松过程、正态过程、维纳过程和马尔科夫链。7.1独立增量过程与泊松过程一、独立增量过程1.独立增量过程随机变量则称{X(t),t≥0}是独立增量过程，又称可加过程.是相互独立的，设{X(t),t≥0}是随机过程，如果对于任意的正整数n和平稳独立增量过程→2.平稳独立增量过程(齐次增量过程)设{X(t),t≥0}是独立增量过程，若对任意0≤s

2、)的分布仅依赖于t-s,而与起点s和终点t本身无关，则称{X(t),t∈[0,+∞)}是平稳(也称齐次)独立增量过程.二、泊松过程1.计数过程若N(t)表示到时刻t为止已发生的“事件A”的总数，且N(t)满足以下条件：则随机过程{N(t),t≥0}为计数过程。泊松过程→2.泊松过程(1)泊松过程的定义设随机过程{X(t),t≥0}的状态空间为X={0,1,2,…},且满足下列三个条件：则称{X(t),t≥0}为强度是λ的泊松过程。复习：泊松分布泊松量过程的数字特征→(2)泊松过程的数字特征设t,s∈[0,+∞)

3、,且s

4、}是对应的时间间隔序列，则随机变量Tn(n=1,2,…)独立同服从均值为1/λ的指数分布,其分布函数为证明(p233)等待时间的分布：定理7.1.3设{Wn,n=1,2,…}是与泊松过程{X(t),t≥0}对应的一个等待时间序列，则Wn服从参数为n和λ的Γ分布，其概率为证明(p234)到达时刻的条件分布→到达时刻的条件分布设{X(t),t≥0}是具有参数λ的泊松过程。在[0,t]内事件A已经发生n次，则第k(k

5、程与维纳过程(自习内容)一、二阶矩过程若随机过程{X(t),t∈T}的二阶矩存在(有限),则称之为二阶矩过程。二、正态过程设{X(t),t∈T}是随机过程，若对任意正整数n和则称{X(t),t∈T}是正态过程或高斯过程。从二阶矩过程的均值函数和相关函数出发来讨论随机过程的性质，而不涉及它的有限维分布，这种理论称为随机过程的相关理论。1.定义正态过程的一种特殊情形：维纳过程三、维纳过程定义：设{W(t),t≥0}为随机过程，如果满足：则称{W(t),t≥0}为维纳过程。2.正态过程的一个重要性质随机过程为正态过程

6、的充分必要条件是其任意有限个状态的线性组合为一维正态随机变量。7.3马尔科夫链一、马尔科夫过程马尔科夫过程是具有这样特性的过程：当已知随机过程现在时刻处于某状态时，此过程“将来”的情况便与“过去”的情况无关。这种特性通常称为无后效性。设{X(t),t∈T}为随机过程，若对任意正整数n及且其条件分布则称{X(t),t∈T}为马尔科夫过程.例：直线上的随机游动马尔科夫链→二、马尔科夫链,有设{Xn,n≥0}为随机变量序列，其状态空间为如果对任意的正整数n及任意n+1个状态则称此随机过程序列为马尔科夫链。1.马尔科夫

7、链的定义例：在玻尔氢原子模型中，电子可在允许的轨道上运动，假设以Xn-1=ai表示电子在第i条轨道上运动，并且电子轨道的跃迁只在t1,t2,t3,…发生，显然，在时刻tn由第i轨道变到第j轨道的概率只与i,j有关，而与电子过去在什么轨道上无关,这个过程{Xn,n≥0}是个马尔科夫过程。一步转移概率→2.转移概率(一步转移概率)设{Xn,n≥0}为马尔科夫链，其状态空间为则称条件概率为马尔科夫链{Xn,n≥0}在时刻n的一步转移概率，简称为转移概率，记作.一般地，转移概率不仅与状态有关，还与时刻有关。当转移概率与

8、时刻无关时，表示马尔科夫链具有平稳转移概率，称这样的马尔科夫链是齐次的或时齐的，并记pij(n)为pijP244例6(简讲)一步转移概率的性质→转移概率的性质：转移概率可写成矩阵形式：有限状态空无限状态空间或例7(p246)多步转移概率→三、多步转移概率2.性质1.定义设{Xn,n≥0}为马尔科夫链，，则称条件概率为马尔科夫链在m时刻从状态ai经n步转到m+n时刻的状态aj的n步转移概