《马尔可夫型决策简介》课件

《《马尔可夫型决策简介》课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、马尔可夫型决策简介基本概念马尔柯夫（A.AMarkov是俄国数学家）。20世纪初，他在研究中发现自然界中有一类事物的变化过程仅与事物的近期状况有关，而与事物的过去状态无关。例：设备维修和更新、人才结构变化、资金流向、市场需求变化等许多经济行为都可用这一类过程来描述或近似。所谓马尔柯夫链，就是一种随机时间序列，它在将来取什么值只与它现在的取值有关，而与它过去取什么值无关，即无后效性。具备这个性质的离散型随机过程，称为马尔柯夫链。马尔柯夫预测法马尔柯夫（A.AMarkov）预测法是应用概率论中马尔柯夫链的理论和方法来研究随机事件变化并借此分析预

2、测未来变化趋势的一种方法。分别介绍基于马尔柯夫链基本理论的状态预测、市场占有率预测和人力资源结构预测方法。123123基本概念一、状态状态：客观事物可能出现或存在的状况。如：市场上的产品可能畅销也可能滞销；机器运转可能正常也可能有故障等。同一事物的不同状态之间必须相互独立，即事物不能同时处在两种状态。用状态变量来表示状态：它表示随机运动系统，在时刻所处的状态为状态转移：客观事物由一种状态到另一种状态的变化。如：产品质量或替代产品的变化，市场上产品可能由畅销变为滞销。基本概念二、状态转移概率客观事物可能有共种状态，其中每次只能处于一种状态，则

3、每一状态都具有个转向（包括转向自身），即。由于状态转移是随机的，因此，必须用概率来描述状态转移可能性的大小，将这种转移的可能性用概率描述，就是状态转移概率。基本概念二、状态转移概率对于由状态Ei转移到状态Ej的概率，称它为从i到j的转移概率。记为：它表示由状态Ei经过一步转移到状态Ej的概率。基本概念某地区有甲、乙、丙三家食品厂生产同一种食品，有一千个用户（或购货点），假定在研究期间无新用户加入也无老用户退出，只有用户的转移，已知2006年5月份有500户是甲厂的顾客；400户是乙厂的顾客；100户是丙厂的顾客。6月份，甲厂有400户原来的

4、顾客，上月的顾客有50户转乙厂，50户转丙厂；乙厂有300户原来的顾客，上月的顾客有20户转甲厂，80户转丙厂；丙厂有80户原来的顾客，上月的顾客有10户转甲厂，10户转乙厂。试计算其状态转移概率。例12-1：解：由题意得6月份顾客转移表1：甲乙丙合计甲4005050500乙2030080400丙101080100合计4303602101000从到表1三、状态转移概率矩阵将事件个状态的转移概率依次排列起来，就构成一个N行×N列的矩阵，这种矩阵就是状态转移概率矩阵。通常，称矩阵P就是状态转移概率矩阵，没有特别说明步数时，一般均为一步转移概率矩

5、阵。矩阵中的每一行称之为概率向量。基本概念状态转移概率矩阵具有如下特征：（1）（2）三、状态转移概率矩阵状态转移概率的估算主观概率法。（一般是在缺乏历史统计资料或资料不全的情况下使用的）。统计估算法。例12-2设味精市场的销售记录共有6年24个季度的数据，见表。试求味精销售转移概率矩阵。季度123456789101112销售状态畅1畅1滞2畅1滞2滞2畅1畅1畅1滞2畅1滞2季度131415161718192021222324销售状态畅1畅1滞2滞2畅1畅1滞2畅1滞2畅1畅1畅1用“1”表示畅销用“2”表示滞销季度123456789101

6、112销售状态畅1畅1滞2畅1滞2滞2畅1畅1畅1滞2畅1滞2季度131415161718192021222324销售状态畅1畅1滞2滞2畅1畅1滞2畅1滞2畅1畅1畅1共有24个季度数据，其中有15个季度畅销，9个季度滞销，现分别统计出连续畅销、由畅销转入滞销、由滞销转入畅销和连续滞销的次数。以p11表示连续畅销的可能性，以频率代替概率，得：分子数7是表中连续出现畅销的次数，分母中的15是表中出现畅销的次数，因为第24季度是畅销，无后续记录，故应减1。季度123456789101112销售状态畅1畅1滞2畅1滞2滞2畅1畅1畅1滞2畅1滞

7、2季度131415161718192021222324销售状态畅1畅1滞2滞2畅1畅1滞2畅1滞2畅1畅1畅1以p12表示由畅销转入滞销的可能性，同理：分子数7是表中由畅销转入滞销的次数。以p21表示由滞销转入畅销的可能性，同理：分子数7是表中由滞销转入畅销的次数，分母数9是表中出现滞销的次数。季度123456789101112销售状态畅1畅1滞2畅1滞2滞2畅1畅1畅1滞2畅1滞2季度131415161718192021222324销售状态畅1畅1滞2滞2畅1畅1滞2畅1滞2畅1畅1畅1以p22表示连续滞销的可能性，同理：分子数2是表中连

8、续出现滞销的次数。综上所述，得到销售状态转移概率矩阵为：状态转移概率矩阵完全描述了所研究对象的变化过程。正如前面所指出的，上述矩阵为一步转移概率矩阵。对于多步转移概率矩阵，可按如