贝叶斯网贝叶斯分类器.ppt

《贝叶斯网贝叶斯分类器.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、北京第七章贝叶斯分类器机器学习2018.09.02图形绘制图片处理图表设计典型案例*贝叶斯决策论1346Contents目录*25极大似然估计朴素贝叶斯分类器半朴素贝叶斯分类器贝叶斯网EM算法机器学习贝叶斯分类器图形绘制图片处理图表设计典型案例*贝叶斯决策论1346Chapter7*25极大似然估计朴素贝叶斯分类器半朴素贝叶斯分类器贝叶斯网EM算法机器学习贝叶斯分类器图形绘制判别式vs.生成式贝叶斯定理*贝叶斯准则7.1贝叶斯决策论贝叶斯决策论（Bayesiandecisiontheory）概率框架下实施决策的基本理论

2、。对于分类任务：基于已知相关概率和误判损失选择最优类别标记后验概率寻找一个判定准则h以最小化总体风险：给定N个类别标记，令λij代表将第j类样本误分类为第i类所产生的损失，则基于后验概率，可知，将样本x分到第i类的条件风险（risk）为：图形绘制判别式vs.生成式贝叶斯定理*贝叶斯准则7.1贝叶斯决策论贝叶斯判定准则（Bayesdecisionrule）h*称为贝叶斯最优分类器(Bayesoptimalclassifier)，其总体风险称为贝叶斯风险(Bayesrisk)•反映了学习性能的理论上限为最小化总体风险，只需

3、在每个样本上选择那个能使条件风险最小的类别标记。判别式vs.生成式贝叶斯定理*贝叶斯准则7.1贝叶斯决策论判别式vs.生成式在现实中通常难以直接获得从这个角度来看，机器学习所要实现的是基于有限的训练样本尽可能准确地估计出后验概率两种基本策略：判别式(discriminative)模型思路：直接对建模代表：生成式(generative)模型•决策树•BP神经网络SVM代表：贝叶斯分类器思路：先对联合概率分布建模，再由此获得判别式vs.生成式贝叶斯定理*贝叶斯准则7.1贝叶斯决策论贝叶斯定理ThomasBayes(1701

4、?-1761)根据贝叶斯定理，有证据(evidence)因子，与类别无关主要困难在于估计似然样本相对于类标记的类条件概率(class-conditionalprobability),亦称似然(likelihood)类先验概率（prior）样本空间中各类样本所占的比例，可通过各类样本出现的频率估计（大数定律）图形绘制图片处理图表设计典型案例*贝叶斯决策论1346Chapter7*25极大似然估计朴素贝叶斯分类器半朴素贝叶斯分类器贝叶斯网EM算法机器学习先假设类条件概率某种概率分布形式，再基于训练样样本对参数进行估计*7.

5、2极大似然估计极大似然估计（MaximumLikelihoodEstimation,MLE）使用对数似然(log-likelihood)于是,的极大似然估计为估计结果的准确性严重依赖于所假设的概率分布形式是否符合潜在的真实分布假定具有确定的概率分布形式，且被参数向量唯一确定，则任务就是利用训练集D来估计参数对于训练集D中第c类样本组成的集合Dc的似然(likelihood)为例如：假设概率密度函数，则和的极大似然估计为：*7.2极大似然估计分别对进行求导，在对应的一阶导函数的零点处即可取得对应的的极大似然估计。极大似然

6、估计（MaximumLikelihoodEstimation,MLE）图形绘制图片处理图表设计典型案例*贝叶斯决策论1346Chapter7*25极大似然估计朴素贝叶斯分类器半朴素贝叶斯分类器贝叶斯网EM算法机器学习拉普拉斯修正*朴素贝叶斯分类器7.3朴素贝叶斯分类器朴素贝叶斯分类器（naïveBayesclassifiers）基本思路：假定属性相互独立d为属性数，xi为x在第i个属性上的取值对所有类别相同，于是分类器使用对离散属性，令表示Dc中在第i个属性上取值为xi的样本组成的集合，则拉普拉斯修正*朴素贝叶斯分类器

7、7.3朴素贝叶斯分类器分类器使用估计P(c):估计P(x

8、c):•对连续属性，考虑概率密度函数，假定朴素贝叶斯分类器（naïveBayesclassifiers）拉普拉斯修正*朴素贝叶斯分类器7.3朴素贝叶斯分类器分类器使用例如：朴素贝叶斯分类器（naïveBayesclassifiers）首先估计类先验概率P(c):拉普拉斯修正*朴素贝叶斯分类器7.3朴素贝叶斯分类器分类器使用例如：朴素贝叶斯分类器（naïveBayesclassifiers）拉普拉斯修正*朴素贝叶斯分类器7.3朴素贝叶斯分类器分类器使用例如：分

9、别计算朴素贝叶斯分类器（naïveBayesclassifiers）拉普拉斯修正*朴素贝叶斯分类器7.3朴素贝叶斯分类器分类器使用例如：分别计算朴素贝叶斯分类器（naïveBayesclassifiers）拉普拉斯修正*朴素贝叶斯分类器7.3朴素贝叶斯分类器分类器使用拉普拉斯修正（Laplaciancorrection）若某个属性