资源描述：
《马尔可夫链的概念及转移概率》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、第四章4.1马尔可夫链的的概念及转移概率一、知识冋顾二、马尔可夫链的的定义三、转移概率四、马尔可夫链的一些简单例子五、总结一、知识回顾1.条件概率定义:设A,B为两个事件，且P(A)>0,称/1、P(AB)p(b
2、a)=7W为事件A发牛条件下B事件发牛的条件概率。将条件概率公式移项即得到所谓的乘法公式：P(AB)=P(A)P(B
3、A)2•全概率公式设试验E的样本空间为S,A为E的事件，若B「B2，…,爲为S的一个完备事件组，既满足条件：1)・內仏2,…，两两互不相容,即艮坊=0,i工j,i,j=l,2,…，n2).B1UB2U-UBn=Sf且有P(BJ>0,i=12…，n,则P
4、(A)=Y=P(Bi)PG4Qi)此式称为全概率公式。3.矩阵乘法矩阵乘法的定义如果^11=^11Xb]]+Q]2X^21+^13X/?31C22=a21X妇2+C12=^llX&12+a12Xb22+血3X&32^21=^21Xb]]+U22X&21+。23X^3ia22X那么矩阵C叫做矩阵A和B的乘积，记作C=AB3.马尔可夫过程的分类马尔可夫过程按其状态和时间参数是连续的或离散的，可分为三类：(1)时间、状态都是离散的马尔科夫过程，称为马尔可夫链；(2)时间连续、状态离散的马尔科夫过程称为连续时间的马尔可夫链的;(1)时间、状态都连续的马尔科夫过程。二、马尔科夫链的定义定
5、义4.1设有随机过程{Xn/n6T},若对于任意的整数nGT和任意的心G,—Jn+lGI，条件概率都满足PPGi+i=in+iKo=io’X]=ilf...fXn=in}=P{^n+1=^n+ll-^n=^n}(4・1・1)则称{XnfnGT}为马尔科夫链，简称马氏链。式(4.1.1)即为马氏链，他表明在状态X(O)=bX(l)=d・・・X(n)=匚已知的条件F,X(n+1)=;的条件概率与X(O)=i0,X(l)=ilf...X(n—1)=in_i无关,而仅与X(n)所处的状态木有关。式(4.1.1)是马尔科夫链的马氏性(或无后效性)的数学表达式。由定义知P{Xo=io，X]
6、=ilf,Xn=in}=P{Xn=i』Xo==in_i）•P（XQ—iQfX1—ilr=in_i}=P{Xn=inXn_1=in_i）P{X（）=i（）,X1=ilf...,Xn_1=in~±]==P{X]=iiXq=i（）}P{Xo=5}可见，马尔科夫链的统计特性完全由条件概率P{^n+1=^n+ll^n=，n}所决定。如何确定这个条件概率，是马尔科夫链理论和应用屮的重要问题2—。现举一例说明上述概念：例4丄1箱中装有c个白球和d个黑球，每次从箱子中任取一球，抽出的球要到从箱子中再抽出一球后才放回箱中，每抽出一球作为一次取样试验。现引进随机变量序列为{X(n),n=12…
7、},每次取样试验的所有可能结果只有两个，即白球或黑球。若以数血代表白球，以数敗代表黑球则有第n次抽球结果为白球第n次抽球结果为黑球由上所述的抽球规则可知，任意第n次抽到黑球或白球的概率只与第n・l次抽得球的结果有关，而与第n-2次，第n-3次，…，第1次，抽的球的结果无关,由此可知上述随机变量序列{X(n),n=12为马氏链。三、转移概率定义4・2称条件概率PtjW=P{Xe=jxn=i}为马尔科夫链{XnfnET}在时刻N的一步转移概率，其中ijET,简称为转移概率。条件概率p0(n)：随机游动的质点在时刻n处于状态i的条件下，下一步转移到状态丿•的你改率。一般地，转移概率
8、旳(町不仅与状态i,j有关，而且与时刻n有关。当旳(71)不依赖与时刻n时，表示马尔科夫链具有平稳转移概率。定义4.3若对任意的i,j6T,马尔科夫链{Xn,nGT}的转移概率“丿心)与n无关则称马尔科夫链是齐次的，并记pij(n)为下面我们只讨论齐次马尔科夫链通常将“齐次”两个字省略。设P表示一步转移概率卩巧所组成的矩阵，且状态空间1={1,2,・・・},则(PllP12…Pin—?21P22…?2n…)••••••••••••称为系统状态的一步转移概率矩阵。它具有性质：(1)Pf7>0,i,jGl；⑵YjwTPij=1，iGI・⑵式中对j求和是对状态空间I的所有可能状态进
9、行的，此性质说明一步转移概率矩阵屮任一行元素Z和为1•通常称满足上述(1)、(2)性质的矩阵为随机矩阵。定义4.4称条件概率pfjn)=P{Xm+n=j
10、Xm=i},ijELm>O,n>l为马尔科夫链［XntnGT}的n步转移概率，并称P(n)=(P；jn))为马尔科夫链的n步转移矩阵，其中（p；jn））>0,冻T（P『））=1，即P（n）也是随机矩阵。当n二1是，p*=內，此吋一步转移矩阵P（1）=P・此外我们规定定理4.1设（Xn,n6T｝为马尔科夫链，则对任意整数n»0,0<1
