第1章离散时间的马尔可夫链

《第1章离散时间的马尔可夫链》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第1章离散时间的马尔可夫链§1随机过程的基本概念定义1设是概率空间，是可测空间，是指标集.若对任何，有，且，则称是上的取值于中的随机过程，在无混淆的情况下简称为随机过程，称为状态空间或相空间，称中的元素为状态，称为时间域.对每个固定的，称为对应于的轨道或现实，对每个固定的，称为值随机元.有时也记为设，是中的一族单调增的子代数（代数流），即①，且是代数；②.若，则称是适应的随机过程，或适应于的随机过程.特别地，若令是由所生成的代数，则是适应的随机过程.当时，称为实值随机过程；当时，称为复值随机过程；当时，称为维随机过程；当是可列集（有限集）时，称为可列（有限）随机

2、过程；当或时，称为连续参数的随机过程；当或时，称为离散参数的随机过程（随机序列）；当或时，称为随机场.随机过程的四种类型：（1）指标集离散，状态空间离散的随机过程；（2）指标集离散，状态空间连续的随机过程；（3）指标集连续，状态空间离散的随机过程；（4）指标集连续，状态空间连续的随机过程.然而，以上分类是表面的，更深刻的是按随机过程的概率结构而分类.28例如：马尔可夫（Markov）过程、平稳过程、独立增量过程、二阶矩过程、正态过程、泊松（Poisson）过程、生灭过程、分枝过程、更新过程、鞅等.对于随机过程而言，可以这样设想，有一个作随机游动的质点，以表示在时

3、刻质点的位置，于是描绘了质点所作的随机运动的变化过程，一般把“”形象地说成“在时刻质点处于状态”.定义2设是概率空间上的、以为状态空间的随机过程，（或或直线上的任一区间）.如果，有则称是可测的.设是中的一族单调增的子代数.如果有则称关于循序可测.命题1设，，是中的一族单调增的子代数.如果关于循序可测，则是可测的.定义3设是随机过程，称为随机过程的一维分布函数；称为随机过程的二维分布函数；一般地，称为随机过程的维分布函数；而称为随机过程的有限维分布函数族.随机过程的有限维分布函数族具有下列性质：1.对，，及的任意排列，有（对称性）2.对，有（相容性）注若知道了随机

4、过程的有限维分布函数族，便知道了这一随机过程中任意有限个随机变量的联合分布，也就可以完全确定它们之间的相互关系.28可见，随机过程的有限维分布函数族能够完整地描述随机过程的统计特征.但是在实际问题中，要知道随机过程的有限维分布函数族是不可能的，因此，人们想到了用随机过程的某些数字特征来刻画随机过程.定义4设是随机过程，称为的均值函数；称为的方差函数；称为的协方差函数；称为的相关函数.注若是复值随机过程，则方差函数的定义为协方差函数的定义为相关函数的定义为性质（1）；（2）；（3）若，则.§2马尔可夫链的定义在实际中有一类很广泛的随机过程，其特点是：过去只影响现在

5、，而不影响将来.这种随机过程称为马尔可夫过程.状态离散的马尔可夫过程称为马尔可夫链，本章介绍时间离散的马尔可夫链（简称马尔可夫链）.马尔可夫（Markov）过程的研究始于1906年，是随机过程的一个重要分支，它在近代物理、生物学、管理科学、信息处理、自动控制、金融保险等方面有着许多重要应用.在本章中，无特别声明我们总是假设：1.参数集合；282.状态空间或或其子集.定义5设是定义在概率空间上的随机过程，状态空间为.若对于任意的及任意的整数，有则称为马尔可夫链，简称马氏链.等式称为马氏性或无后效性，且假定式两端的条件概率都有意义（以下涉及到条件概率的式子都作类似的

6、假定）.定理1随机过程是马尔可夫链的充要条件是对任意的及任意的，有§3转移概率对于马尔可夫链，描述它概率性质最重要的是它在时刻的一步转移概率.马尔可夫链是描述某些特定的随机现象的数学模型，而产生这种特定的随机现象的具体模型一般称为系统，因此我们经常把事件说成是在时刻时系统处于状态，把说成已知在时刻时系统处于状态，而在时刻时系统转移到状态的概率等等.定义6设是状态空间为的马尔可夫链，称为系统在时刻时处于状态的条件下，经步转移到状态的步转移概率，简称时刻的步转移概率.显然，具有下列性质：（1）；（2）.上述性质说明了，对于任意给定的及，是一个概率分布.规定：（1）；

7、（2）若与无关，则称是时齐的或齐次的马尔可夫链.此时，记28；一步转移概率记为.对时齐的马尔可夫链，有以下恒设马尔可夫链是时齐的，并简称为马尔可夫链.性质马尔可夫链的步转移概率具有下列性质（1）；（2）.定理2（Chapman-Kolmogorov）设是马尔可夫链的步转移概率，则，有（C-K方程）证明定理3马尔可夫链的一步转移概率可以确定所有的步转移概率.证明由C-K方程，显然.记.称为马尔可夫链的步转移矩阵，称为马尔可夫链的（一步）转移矩阵.此时，C-K方程可表示为且.定义7设是马尔可夫链，对任意的，称，为绝对概率，特别地，称为初始概率.显然，绝对概率和初始概

8、率具有下列性质：故对任意