资源描述：
《基于贝叶斯决策理论的分类器.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第二章基于贝叶斯决策理论的分类器Classifiers BasedonBayesDecisionTheory§1引言§2Bayes决策理论最小错误率的贝叶斯决策最小风险的贝叶斯决策§3Bayes分类器和判别函数§4正态分布的Bayes决策§1引言模式识别是根据对象特征值将其分类。d个特征组成特征向量x=[x1,···,xd]T，生成d维特征空间，在特征空间一个x称为一个模式样本。Bayes决策理论是用概率统计方法研究决策问题。⒈为什么可用Bayes决策理论分类？⑴样本的不确定性：①样本从总体中抽取，特征值都是随机变量，在相同条件下重复观测取值不同，故x为随机向量。②特征选择的不完善
2、引起的不确定性；③测量中有随机噪声存在。⑵另一方面从样本的可分性来看：当各类模式特征之间有明显的可分性时，可用直线或曲线(面)设计分类器，有较好的效果。当各类别之间出现混淆现象时，则分类困难。这时需要采用统计方法，对模式样本的统计特性进行观测，分析属于哪一类的概率最大。此时要按照某种判据分类，如，分类错误发生的概率最小，或在最小风险下进行分类决策等。⒉三个重要的概率和概率密度先验概率、类条件概率密度函数、后验概率。⑴先验概率P(wi)由样本的先验知识得到先验概率，可从训练集样本中估算出来。例如，两类10个训练样本，属于w1为2个，属于w2为8个，则先验概率P(w1)=0.2，P(w
3、2)=0.8。⑵类条件概率密度函数p(x
4、wi)模式样本x在wi类条件下，出现的概率密度分布函数。也称p(x
5、wi)为wi关于x的似然函数。在本章中均假设已知上述概率和概率密度函数。⑶后验概率P(wi
6、x)定义为某个样本x,属于wi类的概率,i=1,···,c。如果用先验概率P(wi)来确定待分样本x的类别,依据显然是非常不充分的，须用类条件概率密度p(x
7、wi)来修正。根据样本x的先验概率和类条件概率密度函数p(x
8、wi)用Bayes公式重新修正模式样本所属类的概率，称后验概率P(wi
9、x)。3.用Bayes决策理论分类时要求：①各类总体的概率分布是已知的。②要决策的类别数c是一
10、定的。§2Bayes决策理论1.Bayes公式，也称Bayes法则2.Bayes分类规则：用后验概率分类类条件概率密度后验概率上图3.最小错误率的Bayes决策⑴为什么这样分类的结果平均错误率最小？在一维特征空间中，t为两类的分界面分成两个区域R1和R2，R1为(－∞,t)；R2为(t,∞)。R1区域所有x值：分类器判定属于w1类；R2区域所有x值：分类器判定属于w2类。判断错误的区域为阴影包围的面积。x0判定错误区域及错误率真实状态w2，而把模式x判定属于w1类真实状态w1，而把模式x判定属于w2类平均错误率P(e)决策规则实际上对每个x都使p(e
11、x)取小者，移动决策面t都会使
12、错误区域增大，因此平均错误率最小。⑵错误率计算：多类时，特征空间分割成R1,···Rc，P(e)由c×(c-1)项组成，计算量大。用平均正确分类率P(c)计算只有c项：例1：细胞识别已知：正常类P(w1)＝0.9;异常类P(w2)＝0.1待识别细胞x,从类条件概率密度曲线上查得p(x
13、w1)＝0.2;p(x
14、w2)＝0.4这种规则先验概率起决定作用。这里没有考虑错误分类带来的损失。4.最小风险的Bayes决策⑴把分类错误引起的“损失”加入到决策中去。决策论中：采取的决策称为动作，用ai表示；每个动作带来的损失，用l表示。归纳数学符号：一般用决策表或损失矩阵表示上述三者关系。 决策表
15、表示各种状态下的决策损失，如下表：由于引入了“损失”的概念(即在错判时造成的损失)，不能只根据后验概率来决策，必须考虑所采取的决策是否使损失最小。对于给定的x，决策ai，l可在c个l(ai,wj)中选一个，其相应的后验概率为P(wj
16、x)。此时的条件期望损失，即后验概率加权和在决策论中条件期望损失称为条件风险，即x被判为i类时损失的均值。由于x是随机向量的观察值，不同的x采取不同决策ai，其条件风险的大小是不同的。决策a可看成随机向量x的函数，记为a(x)，它本身也是一个随机变量。定义期望风险Rdx是d维特征空间的体积元，积分在整个特征空间。期望风险R反映对整个特征空间上所有x的取
17、值都采取相应的决策a(x)所带来的平均风险；而条件风险R(ai
18、x)只反映观察到某一x的条件下采取决策ai所带来的风险。如果采取每个决策行动ai使条件风险R(ai
19、x)最小，则对所有的x作出决策时，其期望风险R也必然最小。这就是最小风险Bayes决策。⑵最小风险的Bayes决策规则：如果只有两类的情况下这时最小风险的Bayes决策法则为：如果R(a1
20、x)21、x),则x的真实状态w1,否则w2。两类时最小风险Bayes决策规则的另两种形式：例2：条件同例1，利
