马尔可夫过程及其应用

《马尔可夫过程及其应用》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、马尔可夫过程出自MBA智库百科(http://wiki.mbalib.com/)马尔可夫过程（MarkovProcess）什么是马尔可夫过程　　1、马尔可夫性(无后效性)　　过程或（系统）在时刻t0所处的状态为已知的条件下，过程在时刻t>t0所处状态的条件分布，与过程在时刻t0之前年处的状态无关的特性称为马尔可夫性或无后效性。　　即：过程“将来”的情况与“过去”的情况是无关的。　　2、马尔可夫过程的定义　　具有马尔可夫性的随机过程称为马尔可夫过程。　　用分布函数表述马尔可夫过程：　　设I：随机过程{X(t),tinT}的状

2、态空间，如果对时间t的任意n个数值:　　（注：X(tn)在条件X(ti)=xi下的条件分布函数）　　(注：X(tn))在条件X(tn−1)=xn−1下的条件分布函数）　　或写成：　　　　　　这时称过程具马尔可夫性或无后性，并称此过程为马尔可夫过程。　　3、马尔可夫链的定义　　时间和状态都是离散的马尔可夫过程称为马尔可夫链,简记为。[编辑]马尔可夫过程的概率分布　　研究时间和状态都是离散的随机序列:,状态空间为　　1、用分布律描述马尔可夫性　　对任意的正整数n,r和，有：　　　　PXm+n=aj

3、Xm=ai，其中。　　2、转移

4、概率　　称条件概率Pij(m,m+n)=PXm+n=aj

5、Xm=ai为马氏链在时刻m处于状态ai条件下，在时刻m+n转移到状态aj的转移概率。　　说明：转移概率具胡特点：　　。　　由转移概率组成的矩阵称为马氏链的转移概率矩阵。它是随机矩阵。　　3、平稳性　　当转移概率Pij(m,m+n)只与i,j及时间间距n有关时，称转移概率具有平稳性。同时也称些链是齐次的或时齐的。　　此时，记Pij(m,m+n)=Pij(n),Pij(n)=PXm+n=aj

6、Xm=ai(注：称为马氏链的n步转移概率)　　P(n)=(Pij(n))为n步转

7、移概率矩阵。　　特别的,当k=1时,　　一步转移概率：Pij=Pij(1)=PXm+1=aj

8、Xm=ai。　　一步转移概率矩阵：P(1)[编辑]马尔可夫过程的应用举例　　设任意相继的两天中，雨天转晴天的概率为1/3，晴天转雨天的概率为1/2，任一天晴或雨是互为逆事件。以0表示晴天状态，以1表示雨天状态，Xn表示第n天状态（0或1）。试定出马氏链的一步转移概率矩阵。又已知5月1日为晴天，问5月3日为晴天，5月5日为雨天的概率各等于多少？　　解：由于任一天晴或雨是互为逆事件且雨天转晴天的概率为1/3，晴天转雨天的概率为1/2，故

9、一步转移概率和一步转移概率矩阵分别为：　　　　故5月1日为晴天，5月3日为晴天的概率为：　　　　又由于：　　故5月1日为晴天，5月5日为雨天的概率为：P01(4)=0.5995