3、只可以容纳两个人的等候室组成。服务规则为：先到先服务，后来者需在等候室依次排队，假设一个需要服务的顾客到达系统时发现系统内已有3个顾客，则该顾客立即离去。设时间间隔⊿t内有一个顾客进入系统的概率为q，有一接受服务的顾客离开系统(即服务完毕)的概率为p,又设当⊿t充分小时，在这时间间隔内多于一个顾客进入或离开系统实际上是不可能的，再设有无顾客来到与服务是否完毕是相互独立的。等候室服务台系统随机到达者离去者15现用马氏链来描述这个服务系统：设Xn=X(n⊿t)表示时刻n⊿t时系统内的顾客数，即系统的状态。{Xn,n=0,1,2…}是一随机过程，状态空间
4、I={0,1,2,3},且如前例1、例2的分析可知，它是一个齐次马氏链，它的一步转移概率矩阵为：等候室服务台系统随机到达者离去者16例4：设甲、乙两袋共装5个球，每次任取一袋,并从袋中取出一球放入另一袋(若袋中无球则不取)。Xn表示第n次抽取后甲袋的球数，n=1,2,….{Xn,n=1,2,…}是一随机过程，状态空间I={0,1,2,3,4,5},当Xn=i时，Xn+1=j的概率只与i有关，与n时刻之前如何取到i值是无关的，这是一马氏链，且是齐次的,一步转移概率矩阵为：甲乙17例5：卜里耶（Polya)罐子模型。设一罐子装有r个红球，t个黑球，现随
5、机从罐中取出一球，记录其颜色，然后将球放回，并加入a个同色球。持续进行这一过程，Xn表示第n次试验结束时罐中的红球数，n=0，1,2,….{Xn,n=0，1,2,…}是一随机过程，状态空间I={r,r+a,r+2a,…},当Xn=i时，Xn+1=j的概率只与i有关，与n时刻之前如何取到i值是无关的，这是一马氏链，但不是齐次的,一步转移概率为：例6：某计算机机房的一台计算机经常出故障，研究者每隔15分钟观察一次计算机的运行状态，收集了24个小时的数(共作97次观察)，用1表示正常状态，用0表示不正常状态，所得的数据序列如下：1110010011111
6、110011110111111001111111110001101101111011011010111101110111101111110011011111100111设Xn为第n(n=1,2,…,97)个时段的计算机状态，可以认为它是一个齐次马氏链.求(1)一步转移概率矩阵;(2)已知计算机在某一时段(15分钟)的状态为0，问在此条件下，从此时段起，该计算机能连续正常工作45分钟(3个时段)的条件概率.解:(1)设Xn为第n(n=1,2,…,97)个时段的计算机状态，可以认为它是一个齐次马氏链，状态空间I={0,1}，96次状态转移情况是：0→0
7、：8次；0→1：18次；1→0：18次；1→1：52次；因此一步转移概率可用频率近似地表示为：20212223§2多步转移概率的确定24证毕！25262728续2930§3遍历性31323334353637383941例6：一质点在1,2,3三个点上作随机游动，1和3是两个反射壁，当质点处于2时，下一时刻处于1,2,3是等可能的。写出一步转移概率矩阵，判断此链是否具有遍历性，若有，求出极限分布。42例7：一质点在1,2,3三个点上作随机游动，1和3是两个反射壁，当质点处于2时，下一时刻转移到1和3的概率各为½。写出一步转移概率矩阵，判断此链是否具有
8、遍历性，若有，求出极限分布。43例8：一质点在1,2,3三个点上作随机游动，1和3是两个吸收壁，当质点处于2时，下一时刻转
