资源描述：
《markov过程(随机过程报告)》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、随机过程课程报告——离散Markov链（李继刚）考虑一个随机过程｛&,虫T｝,我们假设随机变量纟的取值在某个集合S中，则集合S称为状态空I'可.独立随机试验模型最直接的推广就是Markov模型.粗略地说，一个随机过程如果给定了当前时刻t的值未来5>t的值&不受过去&心的影响就称为是有Markov性.如果一个过程具有Markov性，则称该过程为Markovid：程.特别地，当状态空间S为至多可列集时,Markov过程称为Markov链.对于Markov链，当指标集T是非负整数时，称为离散时间Markov链；当
2、指标集T是连续时间时，称为连续时间Markov链.在本文中，主要讨论有关时间离散的Markov链的性质，有关Markov链的概念等。一、Markov性质随机序列｛^n：n>0｝称为Markov链，如果这些随机变量都是离散的，而且对于Vn>0及任意状态i,j,i（）,…i心,,都有PgJ^n=&LL，…§0=G=户（佥+1这个性质就称为Markov性质。这条性质也就是说，如果过程在时刻斤处于状态i,那么不管它以前处于什么状态,过程以后处于什么状态的概率是一样的。这就说明了，Markov链在已知“现在”的条件
3、下，“将来”与“过去”是条件独立的。此外,对于Markov{^n:n>0}V/n>1,/?>0及任意状态i,j,，（）,•••,,有P©卄=JI佥=°、盒-1=必-1，§0=，0）==./IC=0对状态空间S上的任意有界实值函数/有EgJG丸，…,冷）=E（fd严in）二.概率转移矩阵记p..(n,m)=P^m=j^n=i)并定义无穷矩阵由于此无穷矩阵的分量都是非负的且不超过1,易见这种无穷矩阵的乘法满足结合律，又因为Pij(n,n)=6j=｛[)；；/所以，=/(无穷单位阵)，特别的，PG/+1)称为时
4、刻斤的(一步)转移概率矩阵。如果Markov链的概率转移矩阵P(/?,/?+l)与n无关，则称其为时齐的Markov链,我们把此矩阵简记为P=(pA三、Markov链的例独立同分布的随机变暈的部分和序列，称为随机徘徊，它是时间参数离散情形时的时齐的独立增量过程，又若其中的随机变量只取・1和1两个值，则称为简单随机徘徊。今考虑-个简单随机徘徊©尼°)｝,其状态空间为32=｛全体整数｝,由盒的定义其中｛Zk9k>0｝为独立同分布随机变量序列，满足—11Z&〜(p+g=l)这里｛負“》0)｝表示一个粒子分别以概率
5、〃与9向右与向左走一-格。由于随机徘徊是吋齐的独立增量过程，由第3章可知它也是时齐的Markov链。又因为匚厶…氛都是Z°,Z
6、,…乙?的部分和，所以，它们和乙屮独立，故Pij=P(§”+1=JIFn=0=P(Z“+]+乙=jI◎-Dp7=^+1=P(Zn+l=j-i©=i)=P(Zfl+l=j-i)=qj=i- 其他即其转移矩阵为q0p00:P=(Pij)=0q0p0:00^0/?:Ui习题练习1、一次次地用同一种方法独立的投掷骰子。记佥为第〃次出现的点数。试说明f=©，〃=0,1,2,…｝为时齐的
7、Markov链，并写出§的一步转移概率矩阵。若令〃二血=$+金+・・・+佥，212・・・｝,试问〃是否为Markov链？如果是，请写出其一步转移概率矩阵。解：（］）§=｛金,心1,2,・・・，｝,其中盒为第〃次岀现的点数，$的状态空间为5=｛12345,6｝。由于各次的投掷都相互独立，显然纟为时齐的Markov链。且假定骰子均匀，所以此时一步转移概率矩阵为1/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/
8、61/61/61/61/61/61/61/61/61/61/6〃二｛〃“,心1,2，…，｝,其中久为前〃次出现的点数的总和，〃的状态空间为S=显然已知前加次掷岀点数总和几时，对任意£>°,前m+k次掷出点数总和只与“川有关，而与加之前各次掷出点数的总和无关，所以〃为吋齐的Markov链，一步转移概率矩阵为〔1/6丿—1丿+2,…i+6"（从心其中〃To其他2、用一枚非均匀的硬币一次次独立地向上投掷。设一次投掷出现正面的概率为0（OV"V1）,记$g2）为第兄-1次和第〃次投掷的结果，若这两次都出现正面,则^
9、1=°；否则=1o试说明§二©5=2,3,…｝不是“玄畑链。解：由于第次和第n次投掷都出现正面其他我们有P(^4=0
10、^2=0,^=l)^P(^=0
11、^=l)事实上，设A为一次投掷出现正面，则P（A）=pfi
