第7章 马尔可夫过程及泊松过程

《第7章 马尔可夫过程及泊松过程》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第7章马尔可夫过程与泊松过程　7.1　马尔可夫过程1．引例　例1：随机游动问题。　　　质点在一直线上作随机游动，如果某一时刻质点位于点，则下一步质点以概率向左移动一格达到点，以概率向右移动一格达到点。用表示时刻质点的位置，则是一随机过程。在时刻质点所处的位置只与时刻质点的位置有关，而与以前的位置…、无关。　例2：遗传病问题。　　　某些疾病常遗传给下一代，但不隔代遗传。第代是否有此种疾病只与第代是否有此疾病有关，而与代以前的健康状况无关。2．马尔可夫过程描述性概念一般而言，若随机过程在时刻所处的状态为已知的条件下，过程在时刻（）所处的状态只与过程在时刻的状态有关，而与以

2、前的状态无关，则称此过程为马尔可夫过程。3．马尔可夫过程分类　马尔可夫过程分为四类：（1）离散马尔可夫链：时间取离散值，，可直接记为。　　　状态取离散值，，可直接记为。（2）　连续马尔可夫链：时间取离散值，，状态取连续值。（3）离散马尔可夫过程：　　　　时间取连续值，状态取离散值。（4）连续马尔可夫过程：　　　时间取连续值，状态取连续值。.644．马尔可夫过程的研究与应用概况　　在随机过程的研究领域，马尔可夫过程是主要的研究对象，有关的专著、专题无计其数，其原因是马尔可夫过程与众多的应用领域有关联。5．马尔可夫链（1）定义　　设时间取离散值，记，设状态取有限个离散值，

3、若称马尔可夫链。（1）一步转移概率记，称为马氏链的一步转移概率。由所有的（，）构成的矩阵　称为马氏链的一步转移矩阵。可以证明：（2）步转移概率记，称为马氏链的步转移概率。由所有的（，）构成的矩阵　64称为马氏链的步转移矩阵。可以证明：（1）一步转移矩阵与步转移矩阵的　关系定理：。5．应用举例　例3：天气预报。假设明日是否有雨只与今日的天气状况有关，而与以前的天气状况无关。在今日有雨的条件下，明日有雨的概率为0.6，明日无雨的概率为0.4；在今日无雨的条件下，明日有雨的概率为0.3，明日无雨的概率为0.7；用1表示有雨，用2表示无雨。（1）求1一4步的转移概率矩阵。（2

4、）求今日有雨，第2日（后日）有雨的概率。（3）求今日有雨，第3日无雨的概率。（4）求今日无雨，求第4日有雨的概率。解：＝0.6＝0.4＝0.3＝0.764今日有雨，第2日（后日）有雨的概率为。今日有雨，第3日无雨的概率为。今日无雨，求第4日有雨的概率为。7.2独立增量过程1．引例例1：用表示我国第年的人口总数，则表示在时间段的人口增量。一般，，是相互独立的。例2：用表示时刻到某商店购物的房客总数，则表示在时间段的房客增量。一般，，是相互独立的。例3：用表示时刻通过某路口的车辆总数，则表示在时间段的车流增量。一般，，是相互独立的。2．独立增量过程的定义设有一随机过程，，

5、如果对任意时刻，过程的增量为（），若，是相互独立的随机变量，则称为独立增量过程，又称为可加过程。3．泊松过程（1）定义设随机过程（），其状态只取非负整数值，若满足下列三个条件：①对任意时刻，在时间段，事件出现的次数（）是相互独立的。②对于充分小的，在时间段事件出现1次的概率为③对于充分小的，在时间段事件出现再次及再次以上的概率为64则称为泊伀过程。（1）泊松过程的概率计算①　　②　　③　　④　数学期望记，有：⑤　方差⑥　自相关作业：P231，8.1，8.2，8.4，8.5，8.8。64