《几种概率模型》PPT课件.ppt

《《几种概率模型》PPT课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、条件随机场conditionalrandomfields条件随机场模型是Lafferty于2001年，在最大熵模型和隐马尔科夫模型的基础上，提出的一种判别式概率无向图学习模型，是一种用于标注和切分有序数据的条件概率模型。条件随机场概述CRF最早是针对序列数据分析提出的，现已成功应用于自然语言处理(NaturalLanguageProcessing，NLP）、生物信息学、机器视觉及网络智能等领域。序列标注标注：人名地名组织名观察序列：毛泽东标注：名词动词助词形容词副词……观察序列：今天天气非常好！实体命名识别汉语词性标注四、隐马尔可夫模型（H

2、iddenMarkovModel，HMM）一、产生式模型和判别式模型（Generativemodelvs.Discriminativemodel）二、概率图模型（GraphicalModels）五、最大熵模型（MaximumEntropyModel，MEM）七、条件随机场（conditionalrandomfields，CRF）三、朴素贝叶斯分类器（NaiveBayesClassifier）六、最大熵马尔可夫模型（MEMM）一、产生式模型和判别式模型（Generativemodelvs.Discriminativemodel）产生式模型：构建o

3、和s的联合分布p(s,o)，因可以根据联合概率来生成样本，如HMM，BNs，MRF。产生式模型：无穷样本==》概率密度模型=产生模型==》预测判别式模型：有限样本==》判别函数=预测模型==》预测判别式模型：构建o和s的条件分布p(s

4、o)，因为没有s的知识，无法生成样本，只能判断分类，如SVM，CRF，MEMM。o和s分别代表观察序列和标记序列一个举例：(1,0),(1,0),(2,0),(2,1)产生式模型：P(x,y)：P(1,0)=1/2,P(1,1)=0,P(2,0)=1/4,P(2,1)=1/4.判别式模型：P(y

5、x)：P(0

6、

7、1)=1,P(1

8、1)=0,P(0

9、2)=1/2,P(1

10、2)=1/2两种模型比较：Generativemodel：从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度，不关心判别边界。优点:实际上带的信息要比判别模型丰富， 研究单类问题比判别模型灵活性强能更充分的利用先验知识模型可以通过增量学习得到缺点：学习过程比较复杂在目标分类问题中易产生较大的错误率Discriminativemodel：寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。优点:分类边界更灵活，比使用纯概率方法或生产模型得到的更高级。能清晰的分辨出多类或

11、某一类与其他类之间的差异特征在聚类、viewpointchanges,partialocclusionandscalevariations中的效果较好适用于较多类别的识别缺点：不能反映训练数据本身的特性。能力有限，可以告诉你的是1还是2，但没有办法把整个场景描述出来。二者关系：由生成模型可以得到判别模型，但由判别模型得不到生成模型。二、概率图模型（GraphicalModels）顶点/节点，表示随机变量边/弧两个节点邻接：两个节点之间存在边，记为，不存在边，表示条件独立路径：若对每个i，都有，则称序列为一条路径概率图模型：是一类用图的形式表示

12、随机变量之间条件依赖关系的概率模型，是概率论与图论的结合。图中的节点表示随机变量，缺少边表示条件独立假设。根据图中边有无方向，常用的概率图模型分为两类：有向图：最基本的是贝叶斯网络(BayesianNetworks,BNs)举例有向图模型的联合概率分解每个节点的条件概率分布表示为：P(当前节点

13、它的父节点)联合分布：无向图：马尔可夫随机场(MarkovRandomFields,MRF)马尔可夫随机场模型中包含了一组具有马尔可夫性质的随机变量，这些变量之间的关系用无向图来表示马尔科夫性：举例团(clique)：任何一个全连通（任意两个顶点间都有

14、边相连）的子图最大团(maximalclique)：不能被其它团所包含的团X1X2X3X4例如右图的团有C1={X1,X2,X3}和C2={X2,X3,X4}无向图模型的联合概率分解势函数（potentialfunction）是关于上随机变量的函数设x∈Ω是一个类别未知的数据样本，Y为类别集合，若数据样本x属于一个特定的类别yj，那么分类问题就是决定P(yj

15、x)，即在获得数据样本x时，确定x的最佳分类。所谓最佳分类，一种办法是把它定义为在给定数据集中不同类别yj先验概率的条件下最可能的分类。贝叶斯理论提供了计算这种可能性的一种直接方法。三、

16、朴素贝叶斯分类器（NaiveBayesClassifier）如果没有这一先验知识，那么可以简单地将每一候选类别赋予相同的先验概率。不过通常我们可以用样例中属于yj的样