应用随机过程第5章马尔科夫链上

《应用随机过程第5章马尔科夫链上》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第5章马尔科夫链（上）2016-2017学年第2学期统计与信息学院张建新2017/4/17第5章马尔科夫（Markov）链›5.1基本概念›5.2状态的分类及其性质›5.3极限定理即平稳分布›5.4马尔可夫链的应用›5.5连续时间马尔可夫链5.1基本概念›马尔可夫链及其转移概率矩阵›马尔可夫链举例›n步转移概率矩阵、C-K方程与主方程5.1基本概念›马尔可夫链及其转移概率矩阵5.1基本概念›马尔可夫链及其转移概率矩阵5.1基本概念›马尔可夫链及其转移概率矩阵5.1基本概念›马尔可夫链及其转移概率矩阵5.

2、1基本概念›马尔可夫链及其转移概率矩阵5.1基本概念›马尔可夫链举例5.1基本概念›马尔可夫链举例5.1基本概念›马尔可夫链举例5.1基本概念›马尔可夫链举例5.1基本概念›马尔可夫链举例5.1基本概念›马尔可夫链举例5.1基本概念›马尔可夫链举例5.1基本概念›马尔可夫链举例5.1基本概念›马尔可夫链举例5.1基本概念›马尔可夫链举例5.1基本概念›马尔可夫链举例5.1基本概念›n步转移概率矩阵、C-K方程与主方程5.1基本概念›n步转移概率矩阵、C-K方程与主方程5.1基本概念›n步转移概率矩阵、C

3、-K方程与主方程5.1基本概念›n步转移概率矩阵、C-K方程与主方程›以下定理显示，马氏链在时刻n的分布是如何依赖于它的初始分布的。›设行向量()n(()),n()nPX{ii},Siin›则有主方程：(nm)()mPn()nn(0)Pn()(0)P›证明：j(mn)PX{mnj}PX{miPX}{mnjX

4、mi}i()mn()i()mpnij()(P),jjSi5.1基本概念›n步转移概率矩阵、C-K方程与主方程5.1基本概念›n步转

5、移概率矩阵、C-K方程与主方程5.1基本概念›n步转移概率矩阵、C-K方程与主方程5.1基本概念›n步转移概率矩阵、C-K方程与主方程5.1基本概念›n步转移概率矩阵、C-K方程与主方程P(3)=7/27005.1基本概念›n步转移概率矩阵、C-K方程与主方程5.1基本概念›n步转移概率矩阵、C-K方程与主方程(0)已知初始分布为0.250.300.350.15.1基本概念›n步转移概率矩阵、C-K方程与主方程5.2状态的分类及其性质可以利用C-K方程证明（3）5.2状态的分类及其性质5.2状态

6、的分类及其性质5.2状态的分类及其性质5.2状态的分类及其性质5.2状态的分类及其性质首达概率、常返状态、非常返状态（暂态）5.2状态的分类及其性质5.2状态的分类及其性质1/21/21211/21/31/22/3435.2状态的分类及其性质1/21/21211/21/31/22/3435.2状态的分类及其性质1/21/21211/21/31/22/343该马尔科夫链的状态分为三类：{1,2}，{3}，{4}。5.2状态的分类及其性质n步转移概率的首达分解定理证明：利用全概率公式()nPX{njX,

7、0i}pPX{jX

8、i}ijn0PX{}i0nn注：T表示过程PX{njX,0iT,jl}PX{njX

9、0iT,jlPT}{jlX,0i}jll11首次到达状态jPX{00i}PX{i}的时间，称为nn()lPX{njX

10、00iT,jlPT}{jlX

11、i}PX{njX

12、ljf}ij首达时间。ll11n()l(nl)fpijjjl15.2状态的分类及其性质›常返态与暂态的充要条件›进而，对于暂态j有：f()nnij()i,p

13、ijlimpij0n11fjjn›证明：可以母函数证明，思路比较清晰。详见《应用随机过程-模型和方法》，龚光鲁钱敏平，P29.›也可以利用n步转移概率的首达分解定理证明。5.2状态的分类及其性质›常返态与暂态的充要条件5.2状态的分类及其性质5.2状态的分类及其性质5.2状态的分类及其性质可见，各态互通，即状态空间不可约。5.2状态的分类及其性质5.2状态的分类及其性质由于各状态是互通的，故而所有的状态具有相同的常返性和周期性。注：将直线上的随机徘徊推广到d维空间，假设质点处在某一个格

14、点时，以等概率在下一时刻移动到与之相邻的任意格点上，便得到Z上的对称随机徘徊。类似地，可得：(2)n1dpc00d/2n所以，当d<=2时，所有状态都是常返态；而当d>=3时，所有状态则均为暂态。第5章作业›教材P111习题51-4›补充作业