南京邮电大学随机过程讲稿第四章ppt课件.ppt

《南京邮电大学随机过程讲稿第四章ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章马尔可夫链马尔可夫链定义一步转移概率及多步转移概率Chapman-Kolmogorov方程初始概率及绝对概率马尔可夫链状态分类遍历的马尔可夫链及平稳分布1§4.1马尔可夫链的概念及转移概率一、马尔可夫链的概念232、马氏链的转移概率称条件概率43、一步转移概率及矩阵称为马氏链的一步转移概率矩阵564.多步转移概率的确定7通常我们还规定：(2)、切普曼—柯尔莫哥洛夫方程（Chapman-Kolmogorov）8直观解释对照图910用矩阵形式表示为：表明一步转移概率是最基本的，它确定了马氏链的状态转移的统计规律。115、初始概率与绝对概率写成向量形式:12(2)

2、绝对概率与初始概率的关系13表明n时刻的绝对概率分布完全由初始分布和n步转移概率所确定。14（3）马氏链的有限维分布15总结：1）齐次马氏链多步转移概率可由一步转移概率确定；2)绝对概率可由初始概率及n步转移概率确定3)有限维分布可完全由初始概率及一步转移概率确定。161718192021例带一个吸收壁的随机游动222324用此模型可描述赌徒输光问题解：这是带两个吸收壁的随机游动，其状态空间为：252627282930(1)已知开始第一人拿球，经三次传球后又回到第一人的概率；(2)开始第一人拿球，经三次传球后又回到第一人的概率；(3)经三次传球后第一人拿球的概率；

3、(4)经三次传球后，又回开始拿球人的概率。31134232333435又已知系统经n级传输后输出为1,问原字符也是1的概率是多少?由线性代数知识,可将P表示成对角阵36373839利用类似的方法,可得n步转移概率矩阵为对齐次马尔可夫链,虽然一步转移概率能够完全决定马尔可夫链的统计规律，但仍有许多理论上和实际上的问题需要我们作进一步的讨论。40§4.2马尔可夫链的状态分类一.状态的分类414243是否两个具有相同周期的状态所表现出来的性质基本一致呢?下例可说明并非如此。444546②④③①474849505152①②③53545556575859下面解释这个定理的结

4、论：首先令随机变量60616263状态分类判别法状态分类判别法常返态正常返零常返非常返态64三.状态之间的关系(可达、互通)65将可达关系的证明,正向用一次，反向用一次，就可得出互通关系的传递性。66互通关系的状态是同一类型.67686970①②③717273