随机过程 第3章

《随机过程 第3章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第3章Markov链3.1Markov链的定义与例子定义3.1.1设{X(t),t∈T}是定义在(Ω，F，P)上的随机过程，其参数集T={0,1,2,…}，状态空间S为至多可列集，不妨设S={1,2,…}．若对任意的m≥1及任意的ii,,,,"ijS∈，01m当PX{(0)==iX,(1)i,",()Xmi=}>0时，有01mPXm{(1+=)jX(0),(=iX011),,()=i"Xmi=m}(3.1.1)=+PXm{}(1)==jXmi(),m则称{X(n),n≥0}为Markov链（Markovchain，简记为M.C.）．注(1)(3.1.1)式刻画了Markov链的特性，称之

2、为Markov性．可以证明Markov性等价于下列性质：对0∀≥∀≤<<<0时，有PXt{()mm+11===jXt(),(),,()iXt12i2"Xt=im}(3.1.2)===PXt{}()mm+1jXt().im(2)如果把事件{X(1mj+=)}，{X()mi=}，{X(0)==iX,(1)i,",(Xm−1)=i}m01m−1分别比作“将来”，“现在”和“过去”的话，那么形式上(3.1.1)式可改记为PP{将来过

3、去，现在}={将来现在}.(3.1.3)由于上式等价于PP{将来，过去现在}={将来现在}P{过去现在},(3.1.4)因而，Markov性实际上是在说，在已知“现在”的条件下，“将来”与“过去”条件独立．(3)在刻画Markov链的特性中，还可改用{(X(1mX++),,()"mk)∈A}表示“将来”，km用{(X(0),XX(1),",(mB−∈1))}表示“过去”，其中A，B分别是S，S中的子集，仍用{X()mi=m}表示“现在”，当(3.1.3)式成立时，称{X(n),n≥0}为Markov链．但必须注意的是，“现在”不可以改为{XmC()∈⊂}，其中CSC且不是单点集．换言之，

4、在Markov性中，必须确切地知道现在的状态，而不是现在状态的某个范围．．．．．．．．．．．．．定义3.1.2对任意的m≤n，记pij(,)mn===∈ˆPXn{()jXm()i}(,ijS),(3.1.5)称pij(m,n)为Markov链在m时刻处于状态i至n时刻转移到状态j的转移概率．称矩阵P(,)mn=⎡pmn(,)⎤(3.1.6)⎣ij⎦ijS,∈为Markov链在m时刻的转移（概率）矩阵．特别，称P(m,m+1)为Markov链在m时刻的一步转移矩阵，称P(m,m+k)为Markov链在m时刻的k步转移矩阵．在以后的讨论中，为了简明起见，无论是一步转移矩阵还是多步转移矩阵均简

5、称其为转移矩阵，它具体表示一步转移还是多步转移由当时的记号及上下文而定．转移矩阵的维数取决于Markov链的状态个数．若以

6、S

7、表示Markov链的状态个数，则当

8、S

9、<∞时，P(m,n)是

10、S

11、×

12、S

13、维的方阵；当

14、S

15、=∞时，P(m,n)是无穷维矩阵．显然，转移矩阵P(m,n)的元素pij(m,n)满足0(≤≤∈pmn,)1,,,ijS⎫ij⎪∑pmn(,)1,=∈iS.⎬(3.1.7)ij⎪jS∈⎭通常，若矩阵A=[aij]n×n的所有元素aij为非负实数，且每一行的行和等于1，则称A为随机矩阵．进一步地，若A的每一列的列和也等于1，则称A为双重随机矩阵．由(3.1.7)知，转移矩

16、阵P(m,n)为随机矩阵．当n=m时，规定⎧1,ij=,pmm(,)==δˆ⎨(3.1.8)ijij⎩0,ij≠,其中δij称为Kroneker记号，因而P(m,m)为单位矩阵．关于转移概率有如下的重要结论．定理3.1.3对任意正整数m≤l≤n，有PP(,)mn=(,)(,).mlPln(3.1.9)上述矩阵方程的分量形式为pij(,)mn=∈∑pmlplnir(,)(,)(,rjijS).(3.1.10)rS∈证定理的证明思路是利用全概率公式及Markov性．pmnPXnjXmiij(,)==={()()}PXn{}()==jXmi,()=PXmi{}()=PXn{}()===jXlr

17、Xmi,(),()=∑rS∈PXmi{}()===∑PXlrXmiPXn{}()()=={}()jXlrXmi()=,()=rS∈==∑PXlrXmiPXn{}()()=={}()jXlr()=rS∈=∑pmlplnir(,)(,).rj□rS∈(3.1.9)、(3.1.10)式称为Chapman-Kolmogorov方程（简称为C-K方程）．定义3.1.4若Markov链在m时刻的转移矩阵P(m,m+1)不依赖于m，则称它为齐次(