[理学]中南大学随机过程第七章

《[理学]中南大学随机过程第七章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、随机过程与排队论数学科学与计算技术学院胡朝明Email：math_hu2000@csu.edu.cn8/13/2021上一讲内容回顾马尔可夫过程马尔可夫过程的概念马尔可夫过程的分类离散参数马氏链k步转移概率、k步转移矩阵齐次马尔可夫链8/13/20212胡朝明本讲主要内容离散参数马氏链齐次马氏链的性质链初始分布、绝对分布、极限分布遍历性平稳性8/13/20213胡朝明§3.2离散参数马氏链状态空间E和参数集T都是离散的马尔可夫过程称为离散参数马氏链，简称马氏链。即设{X(n),n=0,1,2,…}为随机序列，状态空间E={

2、0,1,2,…}。如果对于任意非负整数k、n1

3、X(n1)=in1,X(n2)=in2,…,X(nj)=inj,X(m)=im}＝P{X(m+k)=im+k

4、X(m)=im}成立，则称{X(n),n=0,1,2,…}为离散参数马尔可夫链，简称马氏链。8/13/20214胡朝明k步转移概率设{X(n),n=0,1,2,…}为马氏链，E={0,1,2,…}，称条件概率pij(m,k)＝P{X(m+k)=j

5、X(m)=i}为马氏

6、链{X(n),n=0,1,…}在m时刻的k步转移概率.k步转移概率的直观意义是：质点在时刻m时处于状态i，再经过k步(k个单位时间)处于状态j的条件概率。特别地，k=1时，pij(m,1)＝P{X(m+1)=j

7、X(m)=i}称为一步转移概率，简称转移概率。8/13/20215胡朝明k步转移矩阵称矩阵为马氏链{X(n),n=0,1,…}在m时刻的k步转移矩阵。一步转移矩阵P(m,1)简称转移矩阵。由转移概率的定义，显然有：8/13/20216胡朝明齐次马尔可夫链若马氏链{X(n),n=0,1,2,…}的转移概率pij(m,

8、k)与m无关，即pij(m,k)＝P{X(m+k)=j

9、X(m)=i}＝pij(k)；pij(m,1)＝P{X(m+1)=j

10、X(m)=i}＝pij(1)＝pij；则称{X(n),n=0,1,2,…}为齐次马尔可夫链，简称齐次马氏链。齐次马氏链的k步转移矩阵记为：P(m,k)＝P(k)＝(pij(k))i,jE一步转移矩阵，简称转移矩阵，记为：P(m,1)＝P(1)＝P＝(pij)i,jE齐次马氏链的转移概率具有如下性质：0pij(k)1，0pij1，8/13/20217胡朝明例1贝努里序列如上节例2所述，贝努

11、里序列是一个齐次马氏链，其转移矩阵为一般地，独立同分布的离散随机变量序列{X(n),n=0,1,2,…}都是齐次马氏链。8/13/20218胡朝明例2随机游动一质点在数轴上的整数点上作随机游动的，以X(n)表示时刻n质点的位置。质点在某一时刻m时处于状态i，即X(m)=i，则下一步以概率q左移到状态i-1，即pi,i-1(m,1)=q；而以概率p右移到状态i+1，即pi,i+1(m,1)=p。因而质点将来所处的状态X(m+1),X(m+2),…,X(m+k)等仅与现在所处的状态X(m)=i有关，而与过去所处的状态无关。因此

12、，随机游动{X(n),n=0,1,2,…}是齐次马氏链。随机游动的统计特征由它在边界的特点决定，下面给出几种特殊的情形。8/13/20219胡朝明1.自由(无限制)随机游动状态空间E＝{…,-2,-1,0,1,2,…}两端无限制。转移概率：pi,i-1＝q，pi,i+1＝p，其余pi,j＝0，ji-1,i+1转移矩阵：8/13/202110胡朝明2.两个吸收壁随机游动状态空间E＝{1,2,3,4,5}。转移概率p11＝p55＝1；p1j＝0，j1；p5j＝0，j5；pi,i-1＝q，pi,i+1＝p，i=2,3,4；

13、pi,j＝0，ji-1,i+1。质点运动到1,5时，永远留在那里，称状态1,5为吸收壁(状态)。转移矩阵：8/13/202111胡朝明3.带有两个反射壁的随机游动状态空间E＝{1,2,3,4,5}。转移概率：p11＝0，p12＝1，p1j＝0，j=3,4,5；p55＝0，p54＝1，p5j＝0，j=1,2,3；pi,i-1＝q，pi,i+1＝p，i=2,3,4；pij＝0，ji-1,i+1，i=2,3,4。状态1和5永远不能停留，称为反射壁。转移矩阵：8/13/202112胡朝明3.带有两个弹性壁的随机游动状态空间E＝

14、{1,2,3,4,5}。转移概率：p11＝q，p12＝p，p1j＝0，j=3,4,5；p55＝p，p54＝q，p5j＝0，j=1,2,3；pi,i-1＝q，pi,i+1＝p，i=2,3,4；pij＝0，ji-1,i+1，i=2,3,4。状态1和5称为弹性壁。转移矩阵：8/13/202113胡朝明齐次马