ch14概率图模型-周志华ppt课件.ppt

《ch14概率图模型-周志华ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、叶翰嘉第十四章：概率图模型概率模型概率模型概率图模型概率图模型概率图模型(probabilisticgraphicalmodel)是一类用图来表达变量相关关系的概率模型图模型提供了一种描述框架，结点：随机变量（集合）边：变量之间的依赖关系分类：有向图：贝叶斯网使用有向无环图表示变量之间的依赖关系无向图：马尔可夫网使用无向图表示变量间的相关关系概率图模型概率图模型分类：有向图：贝叶斯网无向图：马尔可夫网(好瓜)(敲声)(甜度)(色泽)(根蒂)有向图无向图本章概要隐马尔可夫模型（动态贝叶斯网）马尔可夫随机场/条件随机场学习与推断精确推断近似推断随机化方法确定性方法实例：话题模型隐马尔可夫模型

2、隐马尔可夫模型联合概率马尔可夫链：系统下一时刻状态仅由当前状态决定，不依赖于以往的任何状态HMM的基本组成HMM的生成过程HMM的基本问题马尔可夫随机场马尔可夫随机场（MarkovRandomField，MRF）是典型的马尔可夫网著名的无向图模型图模型表示：结点表示变量（集），边表示依赖关系有一组势函数（PotentialFunctions)，亦称“因子”（factor），这是定义在变量子集上的非负实函数，主要用于定义概率分布函数马尔可夫随机场马尔可夫随机场马尔可夫随机场联合概率分布定义举例马尔可夫随机场中的分离集全局马尔可夫性全局马尔可夫性的验证全局马尔可夫性的验证联合概率：条件概率验

3、证：马尔可夫随机场中的条件独立性马尔可夫随机场中的势函数马尔可夫随机场中的势函数条件随机场条件随机场条件随机场CRF特征函数举例MRF使用团上的势函数定义概率对联合概率建模CRF使用团上的势函数定义概率有观测变量，对条件概率建模MRF与CRF的对比模型推断基于概率图模型定义的分布，能对目标变量的边际分布（marginaldistribution）或某些可观测变量为条件的条件分布进行推断对概率图模型，还需确定具体分布的参数，称为参数估计或学习问题，通常使用极大似然估计或后验概率估计求解。单若将参数视为待推测的变量，则参数估计过程和推断十分相似，可以“吸收”到推断问题中图模型推断参数估计（学

4、习）参数视为待推测的变量模型推断假设图模型所对应的变量集能分为和两个不相交的变量集，推断问题的目标就是计算边际概率或者条件概率。同时，由条件概率定义容易有其中，联合概率可基于图模型获得，所以推断问题的关键就在于如何高效计算边际分布，即边际分布联合分布模型推断分类联合概率可基于图模型获得，所以推断问题的关键就在于如何高效计算边际分布:概率图模型的推断方法可以分两类精确推断方法计算出目标变量的边际分布或条件分布的精确值一般情况下，该类方法的计算复杂度随极大团规模增长呈指数增长，适用范围有限近似推断方法在较低的时间复杂度下获得原问题的近似解在实际问题中更常用精确推断：变量消去精确推断：变量消去

5、精确推断：变量消去变量消去法实际上是利用了乘法对加法的分配律，将对多个变量的积的求和问题转化为对部分变量交替进行求积和求和的问题。这种转化使得每次的求和和求积运算被限制在局部，仅和部分变量有关，从而简化了计算信念传播信念传播若图中没有环，则信念传播算法经过两个步骤即可完成所有消息传递，进而能计算所有变量上的边际分布：指定一个根节点，从所有叶结点开始向根节点传递消息，直到根节点收到所有邻接结点的消息从根结点开始向叶结点传递消息，直到所有叶结点均收到消息近似推断精确推断方法需要很大的计算开销，因此在现实应用中近似推断方法更为常用。近似推断方法大致可以分为两类：采样法（sampling）：通过

6、使用随机化方法完成近似，如MCMC采样变分推断（variationalinference)：使用确定性近似完成推断近似推断：采样法近似推断：MCMC方法近似推断：MCMC方法Metropolis-Hastings(MH)算法用户给定的先验概率Metropolis-Hastings(MH)算法吉布斯采样近似推断：变分推断近似推断：变分推断近似推断：变分推断近似推断：变分方法构成下界对数似然近似推断：变分方法近似推断：变分方法话题模型话题模型（topicmodel）是一类生成式有向图模型，主要用来处理离散型的数据集合（如文本集合）。作为一种非监督产生式模型，话题模型能够有效利用海量数据发现文

7、档集合中隐含的语义。隐狄里克雷分配模型（LatentDirichletAllocation,LDA）是话题模型的典型代表。LDA的基本单元词（word）：待处理数据中的基本离散单元文档（document）：待处理的数据对象，由词组成，词在文档中不计顺序。数据对象只要能用“词袋”（bag-of-words）表示就可以使用话题模型话题（topic）：表示一个概念，具体表示为一系列相关的词，以及它们在该概念下出现的概率话题模型的基本单元话