马氏过程-1028

《马氏过程-1028》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、..马氏链(MarkovChain).....胡鹏2014年秋季学期华中科技大学管理学院2014年《随机过程》马氏过程MarkovChain(马氏链)本讲介绍马氏过程/马氏链的相关知识.1.基本概念，初始分布与转移概率，C-K方程.2.状态分类及性质，平稳分布和极限分布.3.马氏过程的应用2014年《随机过程》马氏过程基本概念.1.定义,马氏性.2.概率分布,转移矩阵,C-K方程.3.两状态时齐马氏链2014年《随机过程》马氏过程例:广告效益的推算市场上A,B,C,D四种品牌的同类饮料,起始市场份额如下[0:25;0:30;0:35;0:10]某个时期品牌A改变了广告策略,调查后发现买

2、品牌A及另外三种品牌B,C,D的顾客每个月的平均转换率如下•A→A(0:95)B(0:02)C(0:02)D(0:01)•B→A(0:30)B(0:60)C(0:06)D(0:04)•C→A(0:20)B(0:10)C(0:70)D(0:00)•D→A(0:20)B(0:20)C(0:10)D(0:50)照此趋势下去，六个月后各品牌的市场份额将是多少?2014年《随机过程》马氏过程MarkovChain的定义随机过程{Xn:n≥0}称为Markov链,如果•状态空间/参数集离散(有限或者可数)：Xn∈N={0;1;2;···}•对任意n≥0以及前n+1个时刻的状态{i0;···;in

3、1;i;j}:P{Xn+1=j

4、Xn=i;Xn1=in1;···;X0=i0}=P{Xn+1=j

5、Xn=i}上述等式称为马氏性或无后效性2014年《随机过程》马氏过程MarkovChain的定义{Xn:n≥0}称为Markov链,如果对任意n时刻之前的任一事件B与n时刻以后的任一事件A只要P{B;Xn=i}̸=0，就有P{A

6、Xn=i;B}=P{A

7、Xn=i}简言之，过程的马氏性即•在已知‘‘现在(Xn=i)’’的条件下,‘‘将来的事件(A)’’与‘‘过去的事件(B)’’相互独立2014年《随机过程》马氏过程MarkovChain的概率分布:例如果起始状态为A,经过2次转移后,更有

8、可能出现状态A还是状态E?系统的“动态性”：•P{A→A}=0:6•P{A→E}=0:4•P{E→A}=0:7•P{E→E}=0:3从A出发两次转移：P{A→A→A}+P(A→E→A)>P{A→A→E}+P(A→E→E)2014年《随机过程》马氏过程MarkovChain的概率分布根据全概公式可知P{X1=i1;X0=i0}=P{X1=i1

9、X0=i0}P{X0=i0}由过程的马氏性可知P{X2=i2;X1=i1;X0=i0}=P{X2=i2

10、X1=i1;X0=i0}P{X1=i1;X0=i0}=P{X2=i2

11、X1=i1}P{X1=i1;X0=i0}=P{X2=i2

12、X1=i1}P{

13、X1=i1

14、X0=i0}P{X0=i0}请仔细理解上式成立的条件2014年《随机过程》马氏过程MarkovChain的概率分布一般来说，马氏链的分布可由下式确定:P{Xn=in;Xn1=in1;···;X1=ii;X0=i0}=P{Xn=in

15、Xn1=in1}×P{Xn1=in1

16、Xn2=in2}×···×P{X1=i1

17、X0=i0}×P{X0=i0}如果记Pn(i;j)=P(Xn=j

18、Xn1=i),以及(i)=P{X0=i},那么P{Xn=in;Xn1=in1;···;X1=ii;X0=i0}=Pn(in1;in)×Pn1(in2;in1)×···P1

19、(i0;i1)×(i0)2014年《随机过程》马氏过程MarkovChain习题考虑有雨和无雨两种气象,假设•今天有雨,明天也有雨的概率为0.7•今天无雨,明天也无雨的概率为0.5那么周一有雨的条件下•周五有雨的概率是多少?•从周一到到周五都在下雨概率是多少?如何针对上述问题建立数学模型？2014年《随机过程》马氏过程MarkovChain实例:随机游动对于简单随机游动{Xn:n≥0}.1.(0)=1且对任意i̸=0皆有(i)=0.2.Pn(i;j)=P{Xn=j

20、Xn1=i}:Pn(i;i+1)=p;Pn(i;i−1)=q;Pn(i;j)=0;∀j:

21、i−j

22、̸=1∑因此,P

23、{X1=j}=i(i)P1(i;j):•如果i̸=0且

24、j−i

25、̸=1,则P{X1=j}=0•如果i=0且

26、j−i

27、=1,即j∈{−1;1}P{X1=1}=p;P{X1=−1}=q{Xn:n≥0}是MarkovChain吗?2014年《随机过程》马氏过程MarkovChain实例:随机游动记"n=Xn−Xn1P{Xn=j

28、Xn1=i;Xn2=in2;···;X0=i0}=P{Xn1+"n=j

29、Xn1=i;Xn2=in2;···