资源描述：
《马尔可夫链地概念及转移概率》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、实用文档第四章4.1马尔可夫链的的概念及转移概率一、知识回顾二、马尔可夫链的的定义三、转移概率四、马尔可夫链的一些简单例子五、总结文案大全实用文档一、知识回顾1.条件概率定义：设A，B为两个事件，且P(A)>0，称PBA=P(AB)P(A)为事件A发生条件下B事件发生的条件概率。将条件概率公式移项即得到所谓的乘法公式：PAB=P(A)P(B
2、A)2.全概率公式设试验E的样本空间为S，A为E的事件，若B1,B2，⋯，Bn为S的一个完备事件组，既满足条件：1).B1,B2，⋯，Bn两两互不相容，即BiBj=∅，i≠j,i,j
3、=1,2,⋯,n2).B1∪B2∪⋯∪Bn=S，且有PBi>0,i=1,2,⋯,n，则PA=i=1nPBiPA
4、Bi此式称为全概率公式。3.矩阵乘法矩阵乘法的定义A=a11a12a13a21a22a23，B=b11b12b21b22b31b32C=c11c12c21c22如果c11=a11×b11+a12×b21+a13×b31c12=a11×b12+a12×b22+a13×b32c21=a21×b11+a22×b21+a23×b31c22=a21×b12+a22×b22+a23×b32文案大全实用文档那么矩阵C叫做矩阵
5、A和B的乘积，记作C=AB4.马尔可夫过程的分类马尔可夫过程按其状态和时间参数是连续的或离散的，可分为三类：（1）时间、状态都是离散的马尔科夫过程，称为马尔可夫链；（2）时间连续、状态离散的马尔科夫过程称为连续时间的马尔可夫链的；（3）时间、状态都连续的马尔科夫过程。文案大全实用文档二、马尔科夫链的定义定义4.1设有随机过程{Xn,n∈T}，若对于任意的整数n∈T和任意的i0,i1,…,in+1∈I，条件概率都满足P{Xn+1=in+1
6、X0=i0,X1=i1,…,Xn=in}=P{Xn+1=in+1
7、Xn=in}(4.
8、1.1)则称{Xn,n∈T}为马尔科夫链，简称马氏链。式(4.1.1)即为马氏链，他表明在状态X(0)=i0,X(1)=i1,…X(n)=in已知的条件下，X(n+1)=j的条件概率与X(0)=i0,X(1)=i1,…X(n-1)=in-1无关，而仅与X(n)所处的状态in有关。式(4.1.1)是马尔科夫链的马氏性（或无后效性）的数学表达式。由定义知P{X0=i0,X1=i1,…,Xn=in}=PXn=inX0=i0,X1=i1,…,Xn-1=in-1∙P{X0=i0,X1=i1,…,Xn-1=in-1}=PXn=inX
9、n-1=in-1PX0=i0,X1=i1,…,Xn-1=in-1=…=PX1=i1X0=i0P{X0=i0}可见，马尔科夫链的统计特性完全由条件概率P{Xn+1=in+1
10、Xn=in}所决定。如何确定这个条件概率，是马尔科夫链理论和应用中的重要问题之一。现举一例说明上述概念：例4.1.1箱中装有c个白球和d个黑球，每次从箱子中任取一球，抽出的球要到从箱子中再抽出一球后才放回箱中，每抽出一球作为一次取样试验。现引进随机变量序列为{Xn,n=1,2,⋯}文案大全实用文档,每次取样试验的所有可能结果只有两个，即白球或黑球。若以
11、数a1代表白球，以数a2代表黑球则有Xn=a1，第n次抽球结果为白球a2，第n次抽球结果为黑球由上所述的抽球规则可知，任意第n次抽到黑球或白球的概率只与第n-1次抽得球的结果有关，而与第n-2次，第n-3次，⋯，第1次，抽的球的结果无关，由此可知上述随机变量序列{Xn,n=1,2,⋯},为马氏链。文案大全实用文档三、转移概率定义4.2称条件概率pijn=P{Xn+1=j
12、Xn=i}为马尔科夫链{Xn,n∈T}在时刻N的一步转移概率，其中i,j∈T，简称为转移概率。条件概率pijn：随机游动的质点在时刻n处于状态i的条件下
13、，下一步转移到状态j的你改率。一般地，转移概率pijn不仅与状态i，j有关，而且与时刻n有关。当pijn不依赖与时刻n时，表示马尔科夫链具有平稳转移概率。定义4.3若对任意的i,j∈T，马尔科夫链{Xn,n∈T}的转移概率pijn与n无关则称马尔科夫链是齐次的，并记pijn为pij。下面我们只讨论齐次马尔科夫链通常将“齐次”两个字省略。设P表示一步转移概率pij所组成的矩阵，且状态空间I={1,2,…}，则P=p11p12…p21p22…………p1n…p2n………称为系统状态的一步转移概率矩阵。它具有性质：(1)pij≥
14、0，i，j∈I；(2)j∈Tpij=1，i∈I.(2)式中对j求和是对状态空间I的所有可能状态进行的，此性质说明一步转移概率矩阵中任一行元素之和为1.通常称满足上述（1）、（2）性质的矩阵为随机矩阵。文案大全实用文档定义4.4称条件概率pij(n)=PXm+n=jXm=i,i,j∈I,m≥0,n≥1为马尔科夫链{Xn
