马尔科夫链考试例题整理.pdf

《马尔科夫链考试例题整理.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、前言：马尔可夫过程的描述分类例1直线上带吸收壁的随机游动（醉汉游动）设一质点在线段[1，5]上随机游动，每秒钟发生一次随机游动，移动的规则是：1（1）若移动前在2，3，4处，则均以概率向左2或向右移动一单位；（2）若移动前在1，5处，则以概率1停留在原处。12345质点在1，5两点被“吸收”若Xn()表示质点在时刻n所处的位置，分析它的概率特性。1例2直线上的随机游动时的位置X(t),是无后效性的随机过程.例3电话交换台在t时刻前来到的呼叫数X(t),是无后效性的随机过程.例4布朗运动无记忆性未来处于某状态的概率特性只与现在状态有关，而与以前的状态无关，这种特性叫无记忆性（无后效性）。2一步

2、转移概率矩阵的计算引例例1直线上带吸收壁的随机游动（醉汉游动）设一质点在线段[1，5]上随机游动，每秒钟发生一次随机游动，移动的规则是：1（1）若移动前在2，3，4处，则均以概率向左2或向右移动一单位；（2）若移动前在1，5处，则以概率1停留在原处。12345质点在1，5两点被“吸收”若Xn()表示质点在时刻n所处的位置，求一步转移概率。3状态空间I={1，2，3，4，5}，参数集T={1，2，3，………}，10000其一步转11移矩阵为0002211P000122110002200001有两个吸收壁的随机游动4例2．带有反射壁的随机游动设随机游动的

3、状态空间I={0，1，2，…}，移动的规则是：（1）若移动前在0处，则下一步以概率p向右移动一个单位，以概率q停留在原处（p+q=1）；（2）若移动前在其它点处，则均以概率p向右移动一个单位，以概率q向左移动一个单位。设Xn表示在时刻n质点的位置，则{Xn，n0}是一个齐次马氏链，写出其一步转移概率。5qpqp012m-1m左反射壁右反射壁qp000...000q0p00...0000q0p0...000P1...........................00000...q0p00000...0qp6qpqp000...q0p00...0

4、123P反10q0p0...射壁..................7例3．一个圆周上共有N格（按顺时针排列），一个质点在该圆周上作随机游动，移动的规则是：质点总是以概率p顺时针游动一格，以概率q1p逆时针游动一格。试求转移概率矩阵。I{1,2,...,N}0p00...0qq0p0...000q0p...00P1.....................00...0q0pp0...00q084．一个质点在全直线的整数点上作随机游动，移动的规则是：以概率p从i移到i-1，以概率q从i移到i+1，以概率r停留在i，且rpq1，

5、试求转移概率矩阵。E{...,2,1,0,1,2,...}...........................0prq00...P1...00prq0...........................95．设袋中有a个球，球为黑色的或白色的，今随机地从袋中取一个球，然后放回一个不同颜色的球。若在袋里有k个白球，则称系统处于状态k，试用马尔可夫链描述这个模型（称为爱伦菲斯特模型），并求转移概率矩阵。解这是一个齐次马氏链，其状态空间为I={0，1，2，…，a}0100...01a100...0aa一步转移矩阵是2a200...0P

6、aa1..................a110...00aa100...0010练习题．扔一颗色子，若前n次扔出的点数的最大值为j，就说Xnj,试问Xj,是否为马氏链？求一步转移概率矩n阵。I={1，2，3，4，5，6}1111111166666621111066666311100P6666411000666510...00660...001012例1甲、乙两人进行比赛，设每局比赛中甲胜的概率是p，乙胜的概率是q，和局的概率是r，（pqr1）。设每局比赛后，胜者记“+1”分，负者记

7、“—1”分，和局不记分。当两人中有一人获得2分结束比赛。以X表示比赛至第n局n时甲获得的分数。（1）写出状态空间；（3）问在甲获得1分的情况下，再赛二局可以结束比赛的概率是多少？13解（1）记甲获得“负2分”为状态1，获得“负1分”为状态2，获得“0分”为状态3，获得“正1分”为状态4，获得“正2分”为状态5，则状态空间为I{12345}，，，，一步转移概率矩阵10000qrp00P0qrp