湖南城市学院-随机过程讲稿(16)

《湖南城市学院-随机过程讲稿(16)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、17.1马尔可夫过程的一般概念7.2马尔可夫链7.3状态连续马尔可夫过程特性7.4独立增量过程的基本概念第七章马尔可夫过程7.5泊松过程7.6维纳过程7.1马尔可夫过程的一般概念1.为什么要研究马尔可夫过程？马尔可夫过程是目前发展很快、应用十分广泛的一类重要的随机过程。它在近代物理、生物（生灭过程）、公用事业、信息处理、通信、自动控制等方面有着重要的应用。2.马尔可夫过程的分类（时间、状态空间）：根据取值的连续性马尔可夫过程链、序列过程马尔可夫链马尔可夫序列可列马尔可夫过程马尔可夫过程根据时间上

2、的连续性马尔可夫序列马尔可夫链x1(k)x2(k)x3(k)x1(k)210-1-2可列马尔可夫过程马尔可夫过程x1(t)x2(t)x3(t)x4(t)t1t2t3t4x1(t)x2(t)x3(t)7.1马尔可夫过程的一般概念随机过程X(t)在时刻t0所处的状态已知时，如果随机过程在未来t(t>t0)所处的状态只与t0时刻的状态有关，而与t0以前所处的状态无关，则该随机过程X(t)称为马尔可夫过程。7.1.1马尔可夫过程的定义[定义7.1]随机过程X(t)，t1

3、中的点，若在t1，t2，tm，tm+1对X(t)观察得到相应的观察值x1,x2,…,xm,xm+1满足条件则称这类随机过程为具有马尔可夫性质的随机过程或马尔科夫过程。该条件概率密度也可表示成：或在马尔可夫过程中，“将来”与“过去”的关系可表述为：“将来”只是通过“现在”与“过去”相联系，一旦“现在”确定，“将来”与“过去”无关。所以，马尔可夫过程具有“无后效性”。7.1.2马尔可夫过程的统计特性X(t)的n维分布函数可写成：对于马尔可夫过程X(t)来说，只要知道它的二维分布，就可决定它的任意有限

4、维分布，这是马尔可夫过程的重要特征。令：t1

5、则称马尔可夫过程为齐次的。7.1.3切普曼-科尔莫哥洛夫方程（C-K方程）证明：略。式中ts

6、质：XmXna1a2ajaN-1aNa1a2ajaN-1aN转移Xn取值概率转移后概率和所有转移可能称为xn=aj的状态概率可见，为了描述马尔可夫链X(n)的n维概率分布，最重要的是条件概率。并称此条件概率为X(n)在时刻k的一步转移概率，记为：它表示在时刻k时，X(k)取i值得情况下，在下一时刻k+1时X(k+1)取j值的概率。显然pij(k)具有如下性质：同理可定义m步转移概率，记为：它表示在时刻n时，X(n)状态为i条件下，经过m步转移后到达j状态的概率。显然有：结论：一个马尔可夫链的特性

7、完全由它的一步转移概率矩阵及初始分布向量决定。马尔可夫链的C-K方程：物理意义：由于马尔可夫链的无后效性，其状态ai经过n-m步转移达到状态aj的过程，可以看作先经过r-m步转移达到某个状态ak(k=1,2,..,N)，然后再经过m-r步转移达到状态aj。ttntrtmXm=aiXn=ajXr=aNXr=aKXr=a1Pik(m,r)Pkj(r,n)7.2.2齐次马尔可夫链[定义7.4]：如果马尔可夫链的转移概率pij(m,n)只取决于n-m，而与m和n本身的值无关，则称为齐次马尔可夫过程链，简

8、称齐次链。XmXna1a2aiaN-1aNa1a2aiaN-1aN转移齐次马尔可夫链的切普曼－柯尔莫哥洛夫方程为：m步转移概率矩阵与一步转移概率矩阵的关系：1.齐次马尔可夫链的平稳性[定义7.5]如果齐次马尔可夫链中所有状态的概率分布列相同，即p(n)=p(1)，则称此齐次链是平稳的。[定理7.3]在齐次马尔可夫链中只要序列X1和X2的概率分布列相同，即p(2)=p(1)，则此链必是平稳的。2.平稳链的条件下，状态概率列p(1)的求解例1：设质点M在直线段上作随机游动。假设质点M只能停留在1，2