北京工业大学研究生概率论与数理统计

《北京工业大学研究生概率论与数理统计》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第一节马尔可夫过程及其概率分布一、马尔可夫过程的概念二、马尔可夫过程的概率分布三、应用举例四、小结一、马尔可夫过程的概念1.马尔可夫性(无后效性)马尔可夫性或无后效性.即:过程“将来”的情况与“过去”的情况是无关的.马尔可夫资料2.马尔可夫过程的定义具有马尔可夫性的随机过程称为马尔可夫过程.用分布函数表述马尔可夫过程恰有或写成并称此过程为马尔可夫过程.3.马尔可夫链的定义时间和状态都是离散的马尔可夫过程称为马尔可夫链,简记为研究时间和状态都是离散的随机序列二、马尔可夫过程的概率分布1.用分布律描述马尔可夫性有称条件概率说明:转移概率

2、具有特点2.转移概率由转移概率组成的矩阵称为马氏链的转移概率矩阵.此矩阵的每一行元素之和等于1.它是随机矩阵.3.平稳性有关时,称转移概率具有平稳性.同时也称此链是齐次的或时齐的.称为马氏链的n步转移概率a1a2…aj…Xm+1的状态的状态Xm一步转移概率特别的,当k=1时,一步转移概率矩阵的状态记为P三、应用举例证明由独立增量过程的定义知,即有例1马尔可夫过程.说明:泊松过程是时间连续状态离散的马氏过程;维纳过程是时间状态都连续的马氏过程.设每一级的传真率为p,误码率为q=1-p.设一个单位时间传输一级,只传输数字0和1的串联系统

3、(传输系统)如图:分析:例2而与时刻n以前所处的状态无关.所以它是一个马氏链,且是齐次的.一步转移概率一步转移概率矩阵例3一维随机游动游动的概率规则1/3的概率向左或向右移动一格,或以1/3的概率留在原处;如果Q现在位于点i(1

4、动的演示理论分析:状态空间就是I.而与时刻n以前所处的状态无关.所以它是一个马氏链,且是齐次的.一步转移概率说明:相应链的转移概率矩阵只须把P中第1行改为改变游动的概率规则,就可得到不同方式的随机游动和相应的马氏链.如果把点1改为吸收壁,一步转移概率矩阵解例4例5解解例6排队模型设服务系统由一个服务员和只可以容纳两个人的等候室组成:服务规则假定一个需要服务的顾客到达系统时发现系统先到先服务,后来者需在等候室依次排队.内已有3个顾客(一个正在接受服务,两个在等候室排队),则该顾客立即离去.随机到达者系统等候室服务台离去者例7分析假设:

5、有一原来被服务的顾客离开系统(即服务完毕)的进入或离开系统实际上是不可能的.3.再设有无顾客来到与服务是否完毕是相互独立的.以下用马氏链来描述这个服务系统.系统状态可知它是一个齐次马氏链.在系统内没有顾客的条件下,在系统内没有顾客的条件下,系统内恰有一顾客正在接受服务的条件下,系统内恰有一顾客的条件下,他因服务完毕而离去而另一顾客进入系统或者正在接受服务的顾客将继续要求服务,且无人进入系统的概率.正在接受服务的顾客继续要求服务,且在正在接受服务的顾客继续要求服务,且另一个顾客进入系统的概率.间隔内有两个客顾进入系统的概率,由假设,后

6、者实际上是不可能发生的.类似的,或者一人将离去且另一人将进入系统,或者无人离开系统的概率.该马氏链的一步转移概率为某计算机房的一台计算机经常出故障,研究者每隔15分钟观察一次计算机运行状态,收集了24小时的数据(共作97次观察).用1表示正常状态,用0表示不正常状态,所得的数据序列如下:1110010011111110011110111111001111111110001101101分析状态空间:I={0,1}.例811101101101011110111011110111111001101111110011196次状态转移的情况:

7、因此,一步转移概率可用频率近似地表示为:以下研究齐次马氏链的有限维分布.特点:用行向量表示为一维分布由初始分布和转移概率矩阵决定（书P362公式1.7）一维分布也可用行向量表示成p(n)=(p1(n),p2(n),…pj(n),…)这样，利用矩阵乘法（I是可列无限集时，仍用有限阶）矩阵乘法的规则确定矩阵之积的元素，可写成p(n)=p(0)P(n)⇠——(矩阵)。结论：马氏链在任一时刻n∈T1时的一维分布由初始分布p(0)和n步转移概率矩阵所确定。马氏链的n维分布有限维分布仍由初始分布和转移概率矩阵决定由乘法公式（书P362公式1.8

8、）例9(续例8)若计算机在前一段（15分钟）的状态为0，问从时段起此计算机能连续正常工作一小时（4个时段）的概率为多少？解由题意，前一时段的状态为0就是初始分布P0（0)=P{X0=0}。计算机能连续正常工作4个时段的概率为P{X1=