随机过程第5讲(马尔科夫链定义和性质)

《随机过程第5讲(马尔科夫链定义和性质)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、《随机过程及其应用》离散时间Markov链第5讲2021/9/7郑州大学信息工程学院1内容提要离散时间Markov链的定义、性质离散时间Markov链举例2021/9/7郑州大学信息工程学院2安德雷.安德耶维奇.马尔可夫(A.A.Markov):俄数学家，1856~1922概率和统计领域专家。当年Markov研究普希金诗歌里元音字母和辅音字母交替出现的规律时提出了Markov过程的数学模型Markov过程80年代兴起，在现代工程、自然科学、社会科学中应用广泛。2021/9/7郑州大学信息工程学

2、院31、马尔可夫过程定义定义：设有一随机过程{(t),tT},t1

3、的乘积。这些条件概率密度称为转移概率密度。马尔可夫过程{(t),tT}可能取的值的全体组成过程的状态空间，(t)可能取的值称为状态。(t)=x代表在t时刻过程（或系统）处在状态x。马尔可夫过程的状态空间可以是连续的，也可以是离散的。马尔可夫过程的参数t可以是连续的，也可以是离散的。Markov过程的分类Markov链：状态值可数离散的Markov过程离散时间Markov链（第二章）连续时间Markov链（第三章）2021/9/7郑州大学信息工程学院7马尔可夫链的定义{(n),n=0,1

4、,2,…}是离散状态（状态空间为I）、参数为非负整数的随机过程，且(n)满足条件：即在参数n=0,1,2,…,n，状态取(0)=i0,(1)=i1,…,(n-1)=in-1,(n)=i的条件下，(n+1)=j的条件概率与(0),(1),…,(n-1)无关而仅与(n)所取的值有关，把这类随机过程成为马尔可夫链2021/9/7郑州大学信息工程学院8由定义可知：2021/9/7郑州大学信息工程学院9一步转移概率的两个性质：（1）（2）2021/9/7郑州大学信息工程学院10齐次马尔

5、可夫链定义：如果在马尔可夫链中即从ｉ状态转移到ｊ状态的概率与ｋ无关，则称这类马尔可夫链为齐次马尔可夫链。设Ｐ代表一步转移概率pij所组成的矩阵，且状态空间Ｉ由状态０，１，２，…所组成，则2021/9/7郑州大学信息工程学院11一步转移概率矩阵P中每个元素为非负，每行之和均为1。2、切普曼-柯尔莫哥洛夫方程式（C-K方程）m步转移概率:性质：m=1时即一步转移概率，m=0时规定：2021/9/7郑州大学信息工程学院12对于m步转移概率矩阵有C-K方程：2021/9/7郑州大学信息工程学院13证明：

6、2021/9/7郑州大学信息工程学院14这一事件可分解成:件的和事件,如下图所示:C-K方程是指(n)在n时处于状态i的条件下经过m+r步转移与n+m+r时到达状态j，可以先在n时从状态i出发，经过m步于n+m时到达某种中间状态k，再在n+m时从状态k出发经过r步转移于n+m+r时到达最终状态j，而中间状态k要取遍整个状态空间。C-K方程也可以用矩阵形式表示：r=1时,可得：一直推下去可得：结论：马尔可夫链的m步转移概率由一步转移概率所完全决定2021/9/7郑州大学信息工程学院15马尔可夫链

7、的分布：（1）初始分布称,iI为马氏链的初始分布（2）有限维分布定理：马尔可夫链的有限维分布由其初始分布和一步转移概率所完全确定。2021/9/7郑州大学信息工程学院16转移概率决定了马氏链的运动的统计规律。因此,确定马氏链的任意n步转移概率成为马氏链理论中的重要问题之一。证明：2021/9/7郑州大学信息工程学院17马尔可夫链的例子例：天气预报问题如果明天是否有雨仅与今天的天气（是否有雨）有关，而与过去的天气无关，并设今日下雨，明日有雨的概率为，今日无雨明日有雨的概率为，又假定把有雨称为

8、０状态天气，把无雨称为１状态天气；(n)表示n时的状态天气，则(n)是以{0，1}为状态空间的齐次马尔可夫链，它的一步转移矩阵为：2021/9/7郑州大学信息工程学院18设=0.7，=0.4，则一步转移概率矩阵为2021/9/7郑州大学信息工程学院19四步转移概率矩阵：由此可知，今日有雨且第四日仍有雨的概率为：P00(4)=0.5749则两步转移概率矩阵：2021/9/7郑州大学信息工程学院20例解(1)先求出2步转移概率矩阵:2021/9/7郑州大学信息工程学院21例一维随机游动游动的