《马尔可夫过程》PPT课件

《《马尔可夫过程》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、马尔可夫预测马尔可夫链的基本概念马尔可夫预测方法及应用马尔可夫预测是应用随机过程中马尔可夫链的理论和方法，研究分析有关现象的变化规律并借此对未来进行预测的一种方法。16.1马尔可夫链的基本概念2一、马尔可夫链6.1马尔可夫链的基本概念3马尔可夫过程指满足无后效性的随机过程一、马尔可夫链6.1马尔可夫链的基本概念4马尔可夫过程指满足无后效性的随机过程定义1参数集（随机变量）——随机过程一、马尔可夫链6.1马尔可夫链的基本概念5马尔可夫过程指满足无后效性的随机过程定义1参数集（随机变量）——随机过程无后效性指将来取什么值只与现在的取值有关，而与过去取什么值无关。一、马尔可夫

2、链6.1马尔可夫链的基本概念6马尔可夫过程指满足无后效性的随机过程定义1参数集（随机变量）——随机过程无后效性指将来取什么值只与现在的取值有关，而与过去取什么值无关。定义2如若T为离散集（设），同时的取值也是离散的，则称为离散型随机过程。一、马尔可夫链6.1马尔可夫链的基本概念7设有一离散型随机过程，它所有可能处于的状态的集合为：S={1，2，…，N}，称其为状态空间。8则称离散型随机过程为马尔可夫链。设有一离散型随机过程，它所有可能处于的状态的集合为：S={1，2，…，N}，称其为状态空间。若对任意，恒有：9二、状态转移概率矩阵10二、状态转移概率矩阵当系统由一种状态

3、变为另一种状态时，称为状态转移。11二、状态转移概率矩阵当系统由一种状态变为另一种状态时，称为状态转移。定义3一步状态转移概率12几个概念：13几个概念：概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。14几个概念：概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。15几个概念：概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。概率向量16几个概念：概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量

4、为概率向量。概率矩阵由概率向量作为行向量所构成的方阵称为概率矩阵。概率向量17概率矩阵的性质：如果A、B皆是概率矩阵，则AB也是概率矩阵；如果A是概率矩阵，则A的任意次幂也是概率矩阵。18概率矩阵的性质：如果A、B皆是概率矩阵，则AB也是概率矩阵；如果A是概率矩阵，则A的任意次幂也是概率矩阵。一步状态转移概率矩阵与n无关假设：（齐次性）19例1设味精销售情况分为畅销和滞销两种，1代表畅销，2代表滞销。以表示第n个季度的味精销售状态，则可取1或2的值。若未来的味精市场状态只与现在的市场状态有关，与以前的市场状态无关，则味精的市场销售状态构成一个马尔可夫链。20例1设味精销

5、售情况分为畅销和滞销两种，1代表畅销，2代表滞销。以表示第n个季度的味精销售状态，则可取1或2的值。若未来的味精市场状态只与现在的市场状态有关，与以前的市场状态无关，则味精的市场销售状态构成一个马尔可夫链。设则状态转移概率矩阵：21120.60.50.40.522k步状态转移概率称为k步状态转移概率，为k步状态转移概率矩阵，23马尔可夫链中任何k步状态转移概率都可由1步状态转移概率求出。24马尔可夫链中任何k步状态转移概率都可由1步状态转移概率求出。全概率公式25马尔可夫链中任何k步状态转移概率都可由1步状态转移概率求出。P——一步状态转移概率矩阵——k步状态转移概率矩

6、阵全概率公式26例2设一步状态转移概率矩阵为则两步状态转移概率矩阵为27例2设一步状态转移概率矩阵为则两步状态转移概率矩阵为28初始状态概率向量29初始状态概率向量记为过程的开始时刻，则称为初始状态概率向量。30如果已知齐次马尔可夫链的状态转移概率矩阵以及初始状态概率向量，则任一时刻的状态概率分布可以确定。初始状态概率向量记为过程的开始时刻，则称为初始状态概率向量。31其中：32例3考察一台机床的运行状态。机床的运行存在正常和故障两种状态。S={1,2}。机床在运行中出现故障：1－>2；处于故障中的机床经维修，恢复到正常状态：2－>1。33例3考察一台机床的运行状态。机

7、床的运行存在正常和故障两种状态。S={1,2}。机床在运行中出现故障：1－>2；处于故障中的机床经维修，恢复到正常状态：2－>1。以一个月为单位，经观察统计，知其从某个月份到下月份，机床出现故障的概率为0.3。在这一段时间内，故障机床经维修恢复到正常状态的概率为0.9。120.90.33435含义？36含义？如已知初始概率向量P(0)：0.10.90.30.737含义？如已知初始概率向量P(0)：0.10.90.30.738394041424344P(1)=(0.740.26)45问题：当k不断增大时，的变化趋势如何？P(1)=(0.74