应用随机过程5.1-Markov-链.ppt

《应用随机过程5.1-Markov-链.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第五章Markov链主要内容5.1、基本概念5.2、状态分类及性质5.3、极限定理及不变分布5.4、连续时间Markov链本章的教学目的和要求：1、理解Markov链的定义，了解与之相关的概念和实际应用背景.2、掌握状态分类的标准和性质.3、了解极限定理及不变分布.4、理解连续时间Markov链的定义及性质，了解Kolmogrov方程和生灭过程.第一节基本概念二、转移概率随机矩阵三、C-K方程一、Markov链的定义【本节内容】【重点、难点】Markov链的定义引入：古希腊有句名言：“罗马不是一天建成的。”中国亦有诗云：“冰冻三尺非一日之寒。”可见，事物发展是与过去有

2、关系的，有因，才有果.然而，这节课要讲的一类随机过程却不具备这种性质，换言之，要确定过程将来的状态，不需要知道它过去的状况，只需知道它现在的情况就足够了.此即“无后效性”(也叫Markov性).具有“无后效性”的随机过程称为Markov过程.本章主要介绍最简单的两类：离散时间的Markov链(简称Markov链)和连续时间的Markov链.5.1.1Markov链的定义至此，我们接下来自然要问：对于Markov链而言，(1)它的初始分布存在吗？(2)条件概率(**)是如何确定呢？Answerto(1):华罗庚先生给出答案：“Markov链必有其始.”Answerto(

3、2):该问题是Markov链理论和应用的重要问题之一，我们将在接下来的小节中予以说明。5.1.2转移概率我们先给出其定义：注意:今后我们所讲的都是时齐Markov链，并简称为Markov链.Markov链的分类：若Markov链的状态是有限的，称为有限链，否则称其为无限链.接下来，我们讨论关于Markov链的一个重要概念：转移概率矩阵性质：转移矩阵P具有以下性质：显然，随机矩阵的每一行元素之和为1.5.1.3一些例子复习：√Markov链的定义2.何谓Markov性？3.Markov链的有限维分布族由Markov性及乘法公式，知填空题:Markov链的概率特征完全由(

4、)和()描述.判断题：Markov链是离散时间参数、离散状态的且满足Markov性的随机过程.例题：证及解：是离散状态的随机序列.下证Markov性.从而，是一Markov链.进而，它的转移概率为由题意易知，5.1.4n步转移概率与C-K方程在5.1.2节，我们学习了一步转移概率，(即Markov链从状态i经过一步转移到j的概率).n步转移概率及n步转移矩阵接下来我们讨论注释现在我们给出关于和的结论，即定理5.1.Chapman-Kolmogorov方程GoonProof例题：在赌徒破产模型中，设n=3，p=q=0.5;赌徒从2元开始赌博，求他经过四次赌博就输光的概率

5、.解.我们要求解的概率为由例5.2知，转移矩阵是根据定理5.1(2),得所以，作业：与君共勉：“忘掉过去吧，无论是辉煌还是失败，那只是过往云烟，总会随风飘去；只有把握当前，珍惜今天的人，才能决定自己的未来。”