资源描述：
《模式识别第二章 贝叶斯决策理论.ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。
1、第三讲贝叶斯决策理论参考书：中文教材：第二章p9-34，p42-432011-2012学年第二学期第二章贝叶斯决策理论2.1引言2.2贝叶斯决策理论2.3最小错误率分类2.4最小风险决策2.5分类器、判别函数及决策面2.6正态密度2.7正态分布的判别函数2.8错误率与积分第三讲第四讲2知识点3学习目标是模式识别的重要理论基础，它用概率论的概念分析造成错分类和识别错误的根源，并说明与哪些量有关系。在这个基础上指出了什么条件下能使错误率最小。有时不同的错误分类造成的损失会不相同，因此如果错分类不可避免，那么有没有可能对危害大的错分类实行控制。将分类与计算某种函数联系起来，并在此基
2、础上定义了一些术语，如判别函数、决策面(分界面)，决策域等，要正确掌握其含义。设计一个分类器的最基本方法——设计准则函数，并使所设计的分类器达到准则函数的极值，即最优解，要理解这一最基本的做法。4引言模式识别是一种分类问题，即根据识别对象所呈现的观察值，将其分到某个类别中去。统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分类器的设计起指导作用。贝叶斯决策理论是统计模式识别中的一个基本方法，5引言统计模式识别中的一个基本方法基本思想：基于概率和决策代价进行分类决策基本假设问题可以用概率的形式来描述所有相关概率值已知6引言假设一个待识别的物理对象用其d个属性观察值描述
3、，称之为d个特征，这组成一个d维的特征向量;而这d维待征所有可能的取值范围则组成了一个d维的特征空间。假设苹果的直径尺寸限定在7厘米到15厘米之间，它们的重量在3两到8两之间变化。如果直径长度x用厘米为单位，重量y以两为单位。那么，由x值从7到15，y值从3到8包围的二维空间就是对苹果进行度量的特征空间。7引言问题：已知总共有c类物体，各类在这d维特征空间的统计分布?具体说来是各类别ωi=1,2,…,c的先验概率P(ωi)及类条件概率密度函数p(x
4、ωi)已知的条件下，如何对某一样本按其特征向量进行分类的问题。观察到的某一样本的特征向量为X，而在c类中又有不止一类可能呈现这一
5、X值，这种可能性可用P(ωi
6、X)表示。如何作出合理的判决就是贝叶斯决策理论所要讨论的问题。8引言在给出抽象的推导之前，我们首先从具体例子入手，仍以鱼的分类为例传送带上出现哪种鱼是随机的，在两类的假设下，则要么是鲈鱼，要么是马哈鱼引入符号ω来表示类别：ω=ω1鲈鱼ω=ω2马哈鱼ω是随机变量9引言如果实际捕到的鲈鱼和马哈鱼的数量相等，则下次在传送带上出现鲈鱼和马哈鱼的可能性也相等更一般，引入先验概率P(ω)来表达这种可能性：P(ω1)——鲈鱼的先验概率P(ω2)——马哈鱼的先验概率10引言先验概率反映了在实际的鱼没有出现之前，我们所拥有的对于可能出现哪种鱼的先验知识。比如，我们
7、可以根据季节的不同或捕鱼地点的不同对此做出判断。11引言如果仅有两种鱼，则P(ω1)＋P(ω2)＝1考虑仅用先验概率决策的话，会得到什么样的决策规则？12引言仅用先验概率的决策规则：Decideω1ifP(ω1)>P(ω2)Otherwisedecideω213引言判决结果的好坏取决于先验概率值：如果P(ω1)》P(ω2),如果P(ω1)=P(ω2),如何改进？则判为ω1将会在多数情况下是对的；则只有50％的正确率。14引言可以利用观察到的信息来改进类条件概率密度函数我们采用光泽度指标x来改善决策规则。不同的鱼具有不同的光泽度，将其表示成概率形式的变量：x是一个连续随机变量，
8、其分布取决于类别的状态，则可以表示为p(x/ω).这就是“类条件概率密度”函数，即类别为ω时x的概率密度函数。15引言P(x
9、1)与P(x
10、2)的不同就表达了鲈鱼与马哈鱼光泽度的差异：16引言假定我们知道了P(j)和P(x/j)，j＝1，2进一步假定通过观察和测量，我们得到了某条鱼的光泽度为x此观察结果将如何影响我们对类别的判断？17引言某个模式属于类别j并具有特征值x的联合概率密度可以写成两种形式：p(j,x)=P(j
11、x)p(x)=p(x
12、j)P(j).18引言整理可得贝叶斯公式这就是我们问题的答案！其中，在两类情况下：19引言后验概率通过观察x的值，我
13、们可以将先验概率P(j)转换为后验概率P(j
14、x)——假定特征值x已知的条件下类别是j的概率。20引言似然函数（likelihood）称p(x
15、j)为j关于x的似然函数，在其他条件相等的情况下，p(x
16、j)越大，j就越有可能是真实的类别。21引言注意后验概率主要由先验概率和似然函数的乘积所决定，p(x)可看成仅仅是一个比例因子，其作用是保证各类的后验概率总和为一，从而满足概率条件。22引言假设有某个观测值x，若x使得P(1
17、x)>P(2
18、x)，则我们自然会做出真实类别是1的判决若x使
