随机过程 第四章.ppt

《随机过程 第四章.ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、第四章马尔可夫链马尔可夫链定义一步转移概率及多步转移概率Chapman-Kolmogorov方程初始概率及绝对概率马尔可夫链状态分类遍历的马尔可夫链及平稳分布马尔可夫过程2、马尔可夫性系统在已知现在所处状态的条件下，它将来所处的状态与过去所处的状态无关。§4.1马尔可夫链的概念及转移概率一、马尔可夫链的概念§4.1马尔可夫链的概念及转移概率一、马尔可夫链的概念参数集和状态空间都是离散的马尔可夫过程称为马尔可夫链。2、马氏链的转移概率称条件概率3、一步转移概率及矩阵称为马氏链的一步转移概率矩阵4.多步转移概率的确定通常我们还规定：(2)、切普曼—柯尔莫哥洛夫方程（Chapman

2、-Kolmogorov）直观解释对照图用矩阵形式表示为：表明一步转移概率是最基本的，它确定了马氏链的状态转移的统计规律。全概率公式若有N个互斥事件Bn（n=1,2,…,N），它的并集等于整个样本空间，则（1）离散型随机变量的条件分布律及条件期望5、初始概率与绝对概率写成向量形式:(2)绝对概率与初始概率的关系表明n时刻的绝对概率分布完全由初始分布和n步转移概率所确定。（3）马氏链的有限维分布总结：1）齐次马氏链多步转移概率可由一步转移概率确定；2)绝对概率可由初始概率及n步转移概率确定3)有限维分布可完全由初始概率及一步转移概率确定。赌徒输光问题解：定义{Xn}为第n次时甲的

3、赌资，其状态空间为：例带一个吸收壁的随机游动(1)已知开始第一人拿球，经三次传球后又回到第一人的概率；(2)开始第一人拿球，经三次传球后又回到第一人的概率；(3)经三次传球后第一人拿球的概率；(4)经三次传球后，又回开始拿球人的概率。1342又已知系统经n级传输后输出为1,问原字符也是1的概率是多少?由线性代数知识,可将P表示成对角阵利用类似的方法,可得n步转移概率矩阵为对齐次马尔可夫链,虽然一步专移概率能够完全决定马尔可夫链的统计规律，但仍有许多理论上和实际上的问题需要我们作进一步的讨论。