随机过程_课件---第五章

《随机过程_课件---第五章》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第五章离散参数Markov链5.1Markov链的基本概念1、Markov链和转移概率矩阵定义5-1考虑只取有限个或可数个值的随机过程。把过程所取可能值得全体称为它的状态空间，记之为E，通常假设。若就说“过程在时刻n处于状态i”，假设每当过程处于状态i，则在下一个时刻将处于状态j的概率是固定的，即对任意时刻n若对任意状态有这样的随机过程称为Markov链。称矩阵是一步转移概率矩阵，简称为转移矩阵。由的定义可知，这是一种带有平稳转移概率的Markov链，也称作时间齐次Markov链或简称时齐次Markov链。且具有，,2、例题例5-1（直线

2、上的随机游动）考虑在直线上整数点上运动的粒子，当它处于位置j时，向右转移到j+1的概率为p，而向左移动到j-1的概率为q=p-1，又设时刻0时粒子处在原点，即。于是粒子在时刻n所处的位置就是一个Markov链，且具有转移概率当时，称为简单对称随机游动。例5-6（排队模型）考虑顾客到服务台排队等候服务，在每个服务周期中只要服务台前有顾客在等待，就要对排队在队前的一位顾客提供服务，若服务台前无顾客时就不实施服务。设在第n个服务周期中到达的顾客数为一随机变量，且序列是独立同分布随机序列，即且设为服务周期n开始时服务台前顾客数，则有此时为一Mar

3、kov链，其转移概率矩阵为。例5-8（生灭链）观察某种生物群体，以表示在时刻n群体的数目，设为i个数量单位，如在时刻n+1增生到i+1个数量单位的概率为，减灭到i-1个数量单位的概率为，保持不变的概率为，则为齐次马尔可夫链，，其转移概率为,称此马尔可夫链为生灭链。3、定理5-1设随机过程满足：（1）其中，且取值在E上；（2）为独立同分布随机变量，且与也相互独立，则是Markov链，而且其一步转移概率为，对于任意，证：设，由上面(1)、(2)可知，与互相独立，所以有同理即是Markov链，由时间齐次性，其一步转移概率为于是定理5-1得证。4

4、、定理5-2时齐次Markov链完全由其初始状态的概率分布和其转移概率矩阵所确定。证：对于任意，计算有限维联合分布，由概率的乘法公式及马氏性可知定理5-2得证。5、例题例5-9（二项过程）设在每次试验中，事件A发生的概率为，独立地重复进行这项试验，以表示到第n次为止事件A发生的次数，则是一个独立平稳增量过程。实际上，由二项分布知识可知，服从二项分布，故称此为二项过程。若令增量易见是第n次试验中事件A发生的次数，其概率为且即为一个独立平稳增量过程，当然是一齐次Markov过程。5.2Chapman-Kolmogorov方程1、定理5-3（C

5、hapman-Kolmogorov（切普曼-柯尔莫哥洛夫）方程，C-K方程）对任何整数，有或证：这里只需要证明成立，再依次递推即可证明定理5-3。因为根据矩阵的乘法规则，定理得证。注：定义m步转移概率表示给定时刻n时，过程处于状态i，间隔m步之后过程在时刻n+m转移到了状态j的条件概率。还约定。以表示第i行、第j列的元素矩阵，称为Markov链的n步转移概率矩阵。2、例题（两状态Markov链）例5-10在重复独立贝努里（Bernoulli）试验中，每次试验有两种状态，设表示第n次试验中出现的结果，且有其中，则显然是独立同分布随机序列，从

6、而它是Markov链。于是经过计算有所以，一步转移概率矩阵为而且有5.3Markov链的状态分类1、互通定义5-2称自状态i可达状态j，并记，如果存在，使，称状态i与j互通（相同，互达），并记为，如且。2、定理5-4可达关系与互通关系都具有传递性，即如果且，则。证：因为有，，所以存在，使由C-K方程这里，所以成立。若将可达关系得证明正向进行，再反向进行，就可得出互通关系的传递性，证毕。3、周期定义5-3设为齐次Markov链，其状态空间为E。对于任意，如果集合非空，则称该集合的最大公约数为状态i的周期，若就称状态i为有周期的，且周期为d；

7、若就称状态i为非周期的。4、定理5-5如果Markov链状态i的周期为d，则存在正整数M，对一切，有。证：设，令则故存在正整数N，使得，因此故存在正整数M，对一切，由初等数论有由于，因而当时定理5-5得证。5、首达时间定义5-4设状态，首达时间定义为表示Markov链从状态i出发，首次到达状态j的时间，称为自i到j的首达时间。表示从i出发，首次回到i的时间。6、首达概率设状态，首达概率定义为而且令表示过程从状态i出发经n步首次到达状态j的概率，称为首达概率。再令它表示过程从状态i出发经有限步到达状态j的概率，即从状态i出发经有限步终于到达

8、状态j的概率。7、常返定义5-6称状态i为常返的，如果；称状态i为非常返的（或称为瞬时的），如果。定义5-7设状态i为常返状态（即），如果，则称常返态i为正常返的；如果，则称常返态i为零常返的