资源描述：
《马尔可夫链的概念及转移概率.docx》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第四章4.1马尔可夫链的的概念及转移概率一、知识回顾二、马尔可夫链的的定义三、转移概率四、马尔可夫链的一些简单例子五、总结一、知识回顾1.条件概率定义：设A，B为两个事件，且P(A)>0，称PBA=P(AB)P(A)为事件A发生条件下B事件发生的条件概率。将条件概率公式移项即得到所谓的乘法公式：PAB=P(A)P(B
2、A)2.全概率公式设试验E的样本空间为S，A为E的事件，若B1,B2，⋯，Bn为S的一个完备事件组，既满足条件：1).B1,B2，⋯，Bn两两互不相容，即BiBj=∅，i≠j,i,j=1,2,⋯,n2).
3、B1∪B2∪⋯∪Bn=S，且有PBi>0,i=1,2,⋯,n，则PA=i=1nPBiPA
4、Bi此式称为全概率公式。3.矩阵乘法矩阵乘法的定义A=a11a12a13a21a22a23，B=b11b12b21b22b31b32C=c11c12c21c22如果c11=a11×b11+a12×b21+a13×b31c12=a11×b12+a12×b22+a13×b32c21=a21×b11+a22×b21+a23×b31c22=a21×b12+a22×b22+a23×b32那么矩阵C叫做矩阵A和B的乘积，记作C=AB4.马尔可
5、夫过程的分类马尔可夫过程按其状态和时间参数是连续的或离散的，可分为三类：（1）时间、状态都是离散的马尔科夫过程，称为马尔可夫链；（2）时间连续、状态离散的马尔科夫过程称为连续时间的马尔可夫链的；（3）时间、状态都连续的马尔科夫过程。二、马尔科夫链的定义定义4.1设有随机过程{Xn,n∈T}，若对于任意的整数n∈T和任意的i0,i1,…,in+1∈I，条件概率都满足P{Xn+1=in+1
6、X0=i0,X1=i1,…,Xn=in}=P{Xn+1=in+1
7、Xn=in}(4.1.1)则称{Xn,n∈T}为马尔科夫链，简称马氏
8、链。式(4.1.1)即为马氏链，他表明在状态X(0)=i0,X(1)=i1,…X(n)=in已知的条件下，X(n+1)=j的条件概率与X(0)=i0,X(1)=i1,…X(n-1)=in-1无关，而仅与X(n)所处的状态in有关。式(4.1.1)是马尔科夫链的马氏性（或无后效性）的数学表达式。由定义知P{X0=i0,X1=i1,…,Xn=in}=PXn=inX0=i0,X1=i1,…,Xn-1=in-1∙P{X0=i0,X1=i1,…,Xn-1=in-1}=PXn=inXn-1=in-1PX0=i0,X1=i1,…,X
9、n-1=in-1=…=PX1=i1X0=i0P{X0=i0}可见，马尔科夫链的统计特性完全由条件概率P{Xn+1=in+1
10、Xn=in}所决定。如何确定这个条件概率，是马尔科夫链理论和应用中的重要问题之一。现举一例说明上述概念：例4.1.1箱中装有c个白球和d个黑球，每次从箱子中任取一球，抽出的球要到从箱子中再抽出一球后才放回箱中，每抽出一球作为一次取样试验。现引进随机变量序列为{Xn,n=1,2,⋯},每次取样试验的所有可能结果只有两个，即白球或黑球。若以数a1代表白球，以数a2代表黑球则有Xn=a1，第n次抽球结果
11、为白球a2，第n次抽球结果为黑球由上所述的抽球规则可知，任意第n次抽到黑球或白球的概率只与第n-1次抽得球的结果有关，而与第n-2次，第n-3次，⋯，第1次，抽的球的结果无关，由此可知上述随机变量序列{Xn,n=1,2,⋯},为马氏链。三、转移概率定义4.2称条件概率pijn=P{Xn+1=j
12、Xn=i}为马尔科夫链{Xn,n∈T}在时刻N的一步转移概率，其中i,j∈T，简称为转移概率。条件概率pijn：随机游动的质点在时刻n处于状态i的条件下，下一步转移到状态j的你改率。一般地，转移概率pijn不仅与状态i，j有关，
13、而且与时刻n有关。当pijn不依赖与时刻n时，表示马尔科夫链具有平稳转移概率。定义4.3若对任意的i,j∈T，马尔科夫链{Xn,n∈T}的转移概率pijn与n无关则称马尔科夫链是齐次的，并记pijn为pij。下面我们只讨论齐次马尔科夫链通常将“齐次”两个字省略。设P表示一步转移概率pij所组成的矩阵，且状态空间I={1,2,…}，则P=p11p12…p21p22…………p1n…p2n………称为系统状态的一步转移概率矩阵。它具有性质：(1)pij≥0，i，j∈I；(2)j∈Tpij=1，i∈I.(2)式中对j求和是对状态
14、空间I的所有可能状态进行的，此性质说明一步转移概率矩阵中任一行元素之和为1.通常称满足上述（1）、（2）性质的矩阵为随机矩阵。定义4.4称条件概率pij(n)=PXm+n=jXm=i,i,j∈I,m≥0,n≥1为马尔科夫链{Xn,n∈T}的n步转移概率，并称P(n)=(pij(n))为马尔科夫链的n步转移矩阵，其中pijn≥0，j
