资源描述：
《《马尔可夫过程 》ppt课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第5章马尔可夫过程马春光machunguang@hrbeu.edu.cnhttp://machunguang.hrbeu.edu.cn哈尔滨工程大学5马尔可夫过程5.1马尔可夫过程的定义5.2马尔可夫链的转移概率与概率分布5.3齐次马尔可夫链的分类5.4转移概率的稳定性能5马尔可夫过程5.1马尔可夫过程的定义5.2马尔可夫链的转移概率与概率分布5.3齐次马尔可夫链的分类5.4转移概率的稳定性能5.1马尔可夫过程的定义马尔可夫过程是无后效性的随机过程马尔可夫性定义5.1.1设{X(t),t∈T}是一个随机过程，如果{X(t),t∈T}在
2、t0时刻所处的状态为已知时，它在时刻t>t0所处状态的条件分布与其在t0之前所处的状态无关.通俗地说，就是知道过程“现在”的条件下，其“将来”的条件分布不依赖于“过去”，则称{X(t),t∈T}具有马尔可夫（Markov）性。马尔可夫过程定义5.1.2设{X(t),t∈T}的状态空间为S，如果 在条件X(ti)=xi,xi∈S,i=1,2,…,n-1下,X(tn)的条件分布函数恰好等于在条件X(tn-1)=xn-1下的条件分布函数，即则称{X(t),t∈T}为马尔可夫过程。5.1马尔可夫过程的定义马尔可夫链定义5.1.3参数集和状态空
3、间都是离散的马尔可夫过程称为马尔科夫链.为了讨论简单起见，在以后取马尔科夫链的状态空间为有限或可列无限，此时马尔可夫性可表示为5.1马尔可夫过程的定义特别地，取T={0,1,2,…}的马尔可夫链常记为{X(n),n≥0}或{Xn,n≥0}，此时马尔可夫性为∀n≥1,i0,i1,…,in∈S,P(X(n)=in
4、X(0)=i0,X(1)=i1,…,X(n-1)=in-1)=P(X(n)=in
5、X(n-1)=in-1)（5.1.3）或P(Xn=in
6、X0=i0,X1=i1,…,Xn-1=in-1)=P(Xn=in
7、Xn-1=in-1)（5
8、.1.4）容易证明，对于马尔可夫链{X(n),n≥0}，（5.1.2）式等价于（5.1.3）式或（5.1.4）式。5.1马尔可夫过程的定义5马尔可夫过程5.1马尔可夫过程的定义5.2马尔可夫链的转移概率与概率分布5.3齐次马尔可夫链的分类5.4转移概率的稳定性能5.2马尔可夫链的转移概率与概率分布1.转移概率定义5.2.1设{Xn,n≥0}是马尔可夫链，称{Xn,n≥0}在n时处于状态i的条件下经过k步转移，于n+k时到达状态j的条件概率n≥0,k≥1为{Xn,n≥0}在n时的k步转移概率；称以为第i行第j列元素的矩阵为{Xn,n≥0
9、}在n时的k步转移概率矩阵.特别地，当k=1时，{Xn,n≥0}在n时的一步转移概率和一步转移概率矩阵分别简记为和P(n).定义5.2.2称可数维的矩阵P=(pij)为随机矩阵，如果显然，{Xn,n≥0}的k步转移概率矩阵是一随机矩阵.事实上，由于，并且如果我们进一步约定,则为单位矩阵.5.2马尔可夫链的转移概率与概率分布2.Chapman-Kolmogorov方程定理5.2.1(C-K方程)或{Xn,n≥0}在n时处于状态i的条件下经过k+m步转移于n+k+m时到达状态j，可以先在n时从状态i出发，经过k步于n+k时到达某种中间状态
10、l，再在n+k时从状态l出发经过m步转移于n+k+m时到达最终状态j，而中间状态l要取遍整个状态空间。5.2马尔可夫链的转移概率与概率分布证明5.2马尔可夫链的转移概率与概率分布在C-K方程矩阵形式中，取m=1，得一直推下去，有其分量形式为在上式中把k+1换成k，便可得如下结论：定理5.2.2马尔可夫链的k步转移概率由一步转移概率所完全确定.5.2马尔可夫链的转移概率与概率分布3.马尔可夫链的分布1)初始分布称为马尔可夫链{Xn,n≥0}的初始分布； 称第i个分量为的(行)向量为马尔可夫链{Xn,n≥0}的初始分布向量，即2)有限维分
11、布定理5.2.3马尔可夫链{Xn,n≥0}的有限维分布由其初始分布和一步转移概率所完全确定.5.2马尔可夫链的转移概率与概率分布证明5.2马尔可夫链的转移概率与概率分布3)绝对分布 称为马尔可夫链{Xn,n≥0}的绝对分布；称第j个分量为的(行)向量为马尔可夫链{Xn,n≥0}的绝对分布向量，即.显然，绝对分布与初始分布和n步转移概率有如下关系：或5.2马尔可夫链的转移概率与概率分布事实上5.2马尔可夫链的转移概率与概率分布4.齐次马尔可夫链定义5.2.3设{Xn,n≥0}是一马尔可夫链，如果其一步转移概率pij(n)恒与起始时刻n无
12、关，记为pij，则称{Xn,n≥0}为齐次(时间齐次或时齐)马尔可夫链.否则，称为非齐次马尔可夫链.对于齐次马尔可夫链{Xn,n≥0}，k步转移概率也恒与起始时刻n无关，可记为.因此在具体讨论时，总可以假定时间起始为零，
