马尔科夫及其应用(02129057)

《马尔科夫及其应用(02129057)》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、马尔可夫过程及其应用一．马尔可夫过程的简介马尔科夫过程(MarKovProcess)是一个典型的随机过程。设X(t)是一随机过程，当过程在时刻t0所处的状态为已知时，时刻t(t>t0)所处的状态与过程在t0时刻之前的状态无关，这个特性成为无后效性。无后效的随机过程称为马尔科夫过程。马尔科夫过程中的时同和状态既可以是连续的，又可以是离散的。我们称时间离散、状态离散的马尔科夫过程为马尔科夫链。马尔科夫链中，各个时刻的状态的转变由一个状态转移的概率矩阵控制。二．马尔可夫过程的一般概念2.1定义设有一随机过程X(t)，t∈T，若在t1,t1,…tn-1,tn(

2、t1

3、X(t1)是无关的。2.2转移概率分布定义马氏过程的转移概率分布为或转移概率分布是条件概率分布，对X而言，它是一个分布函数，有以下性质：1)FX(x;t

4、x0;t0)>=02)FX(∞;t

5、x0;t0)=13)FX(-∞;t

6、x0;t0)=04)FX(x;t

7、x0;t0)是关于x的单调非降、右连续的函数。5)满足切普曼-科尔莫哥洛夫方程应用全概率公式,可以证明上式成立。2.3转移概率密度如果FX(x;t

8、x0;t0)关于x的导数存在,则:称之为马尔科夫过程的转移概率密度。反之，可得并且还有此时，无后效性可表示为马氏过程的转移概率密度也满足切普曼-科尔莫

9、哥洛夫方程一．马尔可夫过程的统计特性及性质由前面的内容可知，随机过程的统计特性可由有限维联合概率分布来近似的描述。对于马尔科夫过程来说，其维概率密度可以表示为当取t1为初始时刻时，fx(x1,t1)表示初始概率分布(密度)。上式表明：马氏过程的统计特性完全由它的初始概率分布（密度）和转移概率分布（密度）所确定。上面已经介绍了马氏过程的定义及一些特征，下面给出马氏过程的几个有用性质。1)同马尔科夫序列的情况一样，逆向的马尔科夫过程仍为马尔科夫过程。对任意的整数n和k，有2)若马尔科夫过程的现在状态已知，则将来状态与过去状态无关。若tn>tr>ts则在已知

10、Xr(过程在t时刻的条件下)，随机变量Xn和Xs是独立的，满足3)若对每个t<=t1

11、联过程的起伏问题时，要用到随机过程，常以泊松过程、弗瑞过程或波伊亚过程作为实际级联的近似，有时还要用到更新过程（见点过程）的概念。当核子穿到吸收体的某一深度时，则可用扩散方程来计算核子的概率分布。物理学中的放射性衰变，粒子计数器，原子核照相乳胶中的径迹理论和原子核反应堆中的问题等的研究，都要用到泊松过程和更新理论。湍流理论以及天文学中的星云密度起伏、辐射传递等研究要用到随机场的理论。探讨太阳黑子的规律及其预测时，时间序列方法非常有用。　　化学反应动力学中，研究化学反应的时变率及影响这些时变率的因素问题,自动催化反应，单分子反应,双分子反应及一些连锁反应

12、的动力学模型等，都要以生灭过程（见马尔可夫过程）来描述。　　随机过程理论所提供的方法对于生物数学具有很大的重要性，许多研究工作者以此来构造生物现象的模型。研究群体的增长问题时，提出了生灭型随机模型，两性增长模型，群体间竞争与生尅模型，群体迁移模型，增长过程的扩散模型等等。有些生物现象还可以利用时间序列模型来进行预报。传染病流行问题要用到具有有限个状态的多变量非线性生灭过程。在遗传问题中，着重研究群体经过多少代遗传后，进入某一固定类和首次进入此固定类的时间，以及最大基因频率的分布等。　　许多服务系统，如电话通信，船舶装卸，机器损修，病人候诊，红绿灯交换，

13、存货控制，水库调度，购货排队，等等，都可用一类概率模型来描述。这类概率模型涉及的过程叫排队过程