数理统计与随机过程马尔科夫链

《数理统计与随机过程马尔科夫链》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数理统计与随机过程第十一章主讲教师：程维虎教授北京工业大学应用数理学院第十一章马尔可夫链本章首先从随机过程在不同时刻状态之间的特殊的统计联系，引入马尔可夫(Markoff)过程的概念。然后，对马尔可夫链(状态、时间都是离散的马尔可夫过程)的两个基本问题，即转移概率的确定以及遍历性问题作不同程度的研究和介绍。马尔可夫过程的理论在近代物理、生物学、管理科学、经济、信息处理以及数字计算方法等方面都有重要应用。§11.1马尔可夫过程及其概率分布在物理学中，很多确定性现象遵从如下演变原则：由时刻t0系统或过程所处的状态，可以决定系统或过程在

2、时刻t>t0所处的状态，而无需借助于t0以前系统或过程所处状态的历史资料。如微分方程问题所描绘的物理过程就属于这类确定性现象。把上述原则延伸到随机现象，即当一物理系统或过程遵循的是某种统计规律时，可仿照上面的原则，引入以下的马尔可夫性或无后效性：过程(或系统)在时刻t0所处的状态为已知的条件下，过程在时刻t>t0所处状态的条件分布与过程在t0之前所处的状态无关。通俗地说，就是在已经知道过程“现在”的条件下，其“将来”不依赖于“过去”。现用分布函数来表述马尔可夫性.设随机过程{X(t),t∈T}的状态空间为I。如果对时间t的任意n个

3、数值t1

4、当0

5、n=0,1,2,…}，它可以看作在时间集T1={0,1,2,…}上对离散状态的马氏过程相继观察的结果.我们约定记链的状态空间I={a1,a2,…},ai∈R。在链的情形，马尔可夫性通常用条件分布律来表示，即对任意的正整数n,r和0≤t1

6、，必然转移到a1,a2,…诸状态中的某一个，所以(1.4)由转移概率组成的矩阵P(m,m+n)=(Pij(m,m+n))称为马氏链的转移概率矩阵。由(1.4)式知，此矩阵的每一行元之和等于1。当转移概率Pij(m,m+n)只与i,j及时间间距n有关时，把它记为Pij(n)，即Pij(m,m+n)=Pij(n)并称此转移概率具有平稳性。同时也称此链是齐次的或时齐的。以下我们限于讨论齐次马氏链。在马氏链为齐次的情形下，由(1.3)式定义的转移概率Pij(n)=P{Xm+n=aj∣Xm=ai}称为马氏链的n步转移概率，P(n)=(Pij

7、(n))为n步转移概率矩阵。在以下的讨论中特别重要的是一步转移概率Pij=Pij(1)=P{Xm+1=aj∣Xm=ai}或由它们组成的一步转移概率矩阵在上述矩阵的左侧和上边标上状态a1,a2,…是为了显示Pij是由状态ai经一步转移到状态aj的概率。例2（0-1传输系统）在如下图只传传输数字0和1的串联系统中，设每一级的传真率（输出与输入数字相同的概率称为系统的传真率，相反情形称为误码率）为p，误码率为q=1-p，并设一个单位时间传输一级，X0是第一级的输入，Xn是第n级的输出(n≥1)，那么{Xn,n=0,1,2,…}是一随机过

8、程，状态空间I={0,1}，而且当Xn=i,i∈I为已知时,Xn+1所处的状态的概率分布只与Xn=i有关，而与时刻n以前所处的状态无关，所以它是一个马氏链，而且还是齐次的。它的一步转移概率和一步转移概率分别为和例2一维随机游动设一醉汉Q在如下图所示