马尔可夫过程及其概率分布

《马尔可夫过程及其概率分布》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第一节马尔可夫过程及其概率分布一、马尔可夫过程的概念二、马尔可夫过程的概率分布三、应用举例四、小结一、马尔可夫过程的概念1.马尔可夫性(无后效性)马尔可夫性或无后效性.即:过程“将来”的情况与“过去”的情况是无关的.2.马尔可夫过程的定义具有马尔可夫性的随机过程称为马尔可夫过程.用分布函数表述马尔可夫过程恰有或写成并称此过程为马尔可夫过程.3.马尔可夫链的定义时间和状态都是离散的马尔可夫过程称为马尔可夫链,简记为研究时间和状态都是离散的随机序列二、马尔可夫过程的概率分布1.用分布律描述马尔可夫性有称条件概率说明:转移概率具有特点2.转移概

2、率由转移概率组成的矩阵称为马氏链的转移概率矩阵.此矩阵的每一行元素之和等于1.它是随机矩阵.3.平稳性有关时,称转移概率具有平稳性.同时也称此链是齐次的或时齐的.称为马氏链的n步转移概率一步转移概率特别的,当k=1时,一步转移概率矩阵的状态记为P三、应用举例证明由独立增量过程的定义知,即有例1马尔可夫过程.说明:泊松过程是时间连续状态离散的马氏过程;维纳过程是时间状态都连续的马氏过程.设每一级的传真率为p,误码率为q=1-p.设一个单位时间传输一级,只传输数字0和1的串联系统(传输系统)如图:分析:例2而与时刻n以前所处的状态无关.所以它

3、是一个马氏链,且是齐次的.一步转移概率一步转移概率矩阵例3一维随机游动游动的概率规则1/3的概率向左或向右移动一格,或以1/3的概率留在原处;如果Q现在位于点i(1

4、链的转移概率矩阵只须把P中第1行改为改变游动的概率规则,就可得到不同方式的随机游动和相应的马氏链.如果把点1改为吸收壁,一步转移概率矩阵解例4某计算机房的一台计算机经常出故障,研究者每隔15分钟观察一次计算机运行状态,收集了24小时的数据(共作97次观察).用1表示正常状态,用0表示不正常状态,所得的数据序列如下:1110010011111110011110111111001111111110001101101分析状态空间:I={0,1}.例5111011011010111101110111101111110011011111100111

5、96次状态转移的情况:因此,一步转移概率可用频率近似地表示为:以下研究齐次马氏链的有限维分布.特点:用行向量表示为一维分布由初始分布和转移概率矩阵决定由以上讨论知,转移概率决定了马氏链的运动的统计规律.因此,确定马氏链的任意n步转移概率成为马氏链理论中的重要问题之一.四、小结齐次马氏链、平稳性的概念.一步转移概率矩阵的计算.一步转移概率一步转移概率矩阵第二节多步转移概率的确定一、C-K方程三、应用举例四、小结二、多步转移概率的确定一、C-K方程是一齐次马氏链,则对任意的切普曼-柯尔莫哥洛夫方程(简称C-K方程)说明C-K方程基于下列事实:

6、这一事件可分解成:件的和事件.如下图所示:证明由条件概率定义和乘法定理得(马氏性和齐次性)所以考虑到马氏性和齐次性,即得C-K方程.C-K方程也可写成矩阵形式:二、多步转移概率的确定利用C-K方程我们容易确定n步转移概率.得递推关系:从而可得马氏链的n步转移概率是一步转移概率的n次方,链的有限维分布可由初始分布和一步转移概率完全确定.结论解(1)先求出2步转移概率矩阵:例1在传输系统中,传输后的误码率;系统经n级传输后输出为1,问原发字符也是1的概率是多少?例2解先求出n步转移概率矩阵.有相异的特征值所以可将P表示成对角阵传输后的误码率分

7、别为:(2)根据贝叶斯公式,当系统经n级传输后输出为1,原发字符也是1的概率为:说明n步转移概率矩阵为矩阵一般可表示为:对于只有两个状态的马氏链,一步转移概率例3解概率为四、小结切普曼-柯尔莫哥洛夫方程(简称C–K方程)马氏链的n步转移概率是一步转移概率的n次方,链的有限维分布可由初始分布和一步移概率完全确定.由C–K方程可得第三节遍历性一、遍历性的概念三、应用举例四、小结二、(有限链)遍历性的充分条件一、遍历性的概念对于一般的两个状态的马氏链,由上节内容可知,意义对固定的状态j,不管链在某一时刻的什么状态i出发,通过长时间的转移到达状态

8、j的概率都趋定义则称此链具有遍历性.二、(有限链)遍历性的充分条件说明2.极限分布转化为了求解方程组.3.在定理的条件下马氏链的极限分布是平稳分布.试说明带有两个反射壁的随机游动是遍历的,并求