模式识别-贝叶斯决策理论和应用.ppt

《模式识别-贝叶斯决策理论和应用.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、武汉大学电子信息学院IPL第二章贝叶斯决策理论模式识别理论及应用PatternRecognition-MethodsandApplication内容目录IPL第二章贝叶斯决策理论2.1引言21342.2基于判别函数的分类器设计2.3基于最小错误率的Bayes决策2.4基于最小风险的Bayes决策2.5正态分布的最小错误率Bayes决策2.6讨论56模式识别与神经网络2.1引言数据获取预处理特征提取与选择分类决策分类器设计信号空间特征空间3第二章Bayes决策理论基本概念模式分类：根据识别对象的观测值确定其类别样本与样本空间：类别与类别空间：c个类别（类别数已知）4第二章Bayes

2、决策理论决策把x分到哪一类最合理？理论基础之一是统计决策理论决策：是从样本空间S，到决策空间Θ的一个映射，表示为D:S-->Θ引言5第二章Bayes决策理论决策准则引言评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。Bayes决策常用的准则：最小错误率准则最小风险准则在限定一类错误率条件下使另一类错误率为最小的准则最小最大决策准则6第二章Bayes决策理论2.2基于判别函数的分类器设计判别函数(discriminantfunction)：相应于每一类定义一个函数，得到一组判别函数gi(x),i=1,2,…,c决策区域与决策面(decisionregi

3、on/surface)：7第二章Bayes决策理论8第二章Bayes决策理论决策规则(decisionrule)规则表达1规则表达29第二章Bayes决策理论分类器设计分类器是某种由硬件或软件组成的“机器”：计算c个判别函数gi(x)最大值选择MAXg1...g2gc...x1x2xna(x)判别函数多类识别问题的Bayes最小错误率决策：gi(x)=P(ωi

4、x)10第二章Bayes决策理论2.3Bayes最小错误率决策以两类分类问题为例：已知先验分布P(ωi)和观测值的类条件分布p(x

5、ωi)，i=1,2问题：对某个样本x，x∈ω1?x∈ω2？即选择P(ω1

6、x)，P(ω2

7、x)

8、中最大值对应的类作为决策结果该决策使得在观测值x下的条件错误率P(e

9、x)最小。Bayes决策理论是最优的以后验概率为判决函数：决策规则：11第二章Bayes决策理论后验概率P(ωi

10、x)的计算Bayes公式：假设已知先验概率P(ωi)和观测值的类条件分布p(x

11、ωi)，i=1,2最小错误率决策12第二章Bayes决策理论公式简化比较大小不需要计算p(x)：最小错误率决策13第二章Bayes决策理论公式简化对数域中计算，变乘为加：最小错误率决策判别函数中与类别i无关的项，对于类别的决策没有影响，可以忽略14第二章Bayes决策理论Bayes最小错误率决策例解两类细胞识别问题：正常(ω1

12、)和异常(ω2)根据已有知识和经验，两类的先验概率为：正常(ω1)：P(ω1)=0.9异常(ω2)：P(ω2)=0.1对某一样本观察值x，通过计算或查表得到：p(x

13、ω1)=0.2，p(x

14、ω2)=0.4如何对细胞x进行分类？最小错误率决策15第二章Bayes决策理论Bayes最小错误率决策例解（2）利用贝叶斯公式计算两类的后验概率：最小错误率决策决策结果16第二章Bayes决策理论图解最小错误率决策p(x

15、ω1)p(x

16、ω2)p(ω1

17、x)p(ω2

18、x)类条件概率密度函数后验概率17第二章Bayes决策理论决策的错误率条件错误率：最小错误率决策（平均）错误率是条件错误率的数学期望（平

19、均）错误率：18第二章Bayes决策理论决策的错误率（2）最小错误率决策条件错误率P(e

20、x)的计算:以两类问题为例，当获得观测值x后，有两种决策可能：判定x∈ω1，或者x∈ω2。条件错误率为：19第二章Bayes决策理论决策的错误率（3）Bayes最小错误率决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率最小。Bayes决策是一致最优决策。最小错误率决策20第二章Bayes决策理论决策的错误率（4）设t为两类的分界面，则在特征向量x是一维时，t为x轴上的一点。两个决策区域:R1~(-∞，t)和R2~(t，+∞)最小错误率决策21第二章Bayes决策理论22第二章Baye

21、s决策理论2.4基于最小风险的Bayes决策决策的风险：做决策要考虑决策可能引起的损失。以医生根据白细胞浓度判断一个人是否患血液病为例：没病(ω1)被判为有病(ω2)，还可以做进一步检查，损失不大；有病(ω2)被判为无病(ω1)，损失严重。23第二章Bayes决策理论损失矩阵损失的定义：(N类问题)做出决策D(x)=ωi，但实际上x∈ωj，受到的损失定义为：损失矩阵或决策表：最小风险决策24第二章Bayes决策理论期望条件风险与期望风险期望条