2 第二章 贝叶斯决策理论

《2 第二章 贝叶斯决策理论》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第二章贝叶斯决策理论引言§2-1贝叶斯分类器§2-2正态分布决策理论§2-3关于分类的错误率分析§2-4最小风险Bayes分类器§2-5Bayes分类器算法和例题§2-6聂曼－皮尔逊判别准则§2-7最大最小判别准则§2-8序贯分类1学习指南这一章的主要内容是说明分类识别中为什么会有错分类?在何种情况下会出现错分类？错分类的可能性会有多大？在理论上指明了怎样才能使错分类最少？另一方面，错分类有不同情况，例如误将A错分为B类，或将B类错分为A类就是两种不同的错误。不同的错分类造成的危害是不同的，有的错分类

2、种类造成的危害更大，因此控制这种错分类则是更重要的。引入了一种“风险”与“损失”概念，希望做到使风险最小。这一章的关键是要正确理解先验概率，类概率密度函数，后验概率这三种概率，对这三种概率的定义，相互关系要搞得清清楚楚。Bayes公式正是体现这三者关系的式子，要透彻掌握。2课后思考1、机器自动识别分类，能不能避免错分类，如汉字识别能不能做到百分之百正确？怎样才能减少错误？2、错分类往往难以避免，因此就要考虑减小因错分类造成的危害损失，譬如对病理切片进行分析，有可能将正确切片误判为癌症切片，反过来也可能将

3、癌症病人误判为正常人，这两种错误造成的损失一样吗？看来后一种错误更可怕，那么有没有可能对后一种错误严格控制？3、概率论中讲的先验概率，后验概率与概率密度函数等概念还记得吗？什么是贝叶斯公式？4、什么叫正态分布？什么叫期望值？什么叫方差？为什么说正态分布是最重要的分布之一？3本章知识结构框图4引言•模式识别的分类问题就是根据识别对象特征的观察值将其分到某个类别中。•统计决策理论是处理模式分类问题的基本理论之一。•贝叶斯(Bayes)决策理论方法是统计模式识别中的一个基本方法。用此方法进行分类时要求：•1）各类别

4、总体的概率分布式是已知的；•2）要决策分类的类别数是一定的。•本章所要研究的主要问题就是，在特征空间中观察到的样本，将其分到哪一类才最合理。5待识别物理对象的描述问题。假设一个待识别的物理对象用其d个属性观察值描述，称之为d个特征，这组成一个d维的特征向量，而这d维待征所有可能的取值范围则组成了一个d维的特征空间。例子：假设苹果的直径尺寸限定在7厘米到15厘米之间，它们的重量在3两到8两之间变化。如果直径长度x用厘米为单位，重量y以两为单位。那么，由x值从7到15，y值从3到8包围的二维空间就是对苹果进行度量的

5、特征空间。贝叶斯决策理论方法所讨论的问题：已知总共有c类物体，也就是说待识别物体属于这c类中的一个类别，对这c类不同的物理对象，以及各类在这d维特征空间的统计分布，具体说来是各类别ω=12…c=1,2,…,c的先验概率P(ω)及类ii条件概率密度函数p(x

6、ω)已知的条件下，如何对某一样本按其i特征向量进行分类的问题。6•由于属于不同类的待识别对象存在着呈现相同观察值的可能，即所观察到的某一样本的特征向量为X，而在c类中又有不止一类可能呈现这一X值，这种可能性可用P(ω

7、X)表示。如何作出i合理的判决就是贝叶

8、斯决策理论所要讨论的问题。•机器实现自动分类有两大类方法：一种是模板匹配方法，而另一种就是对特征空间划分为子空间(每类的势力范围)的方法。本章是针对第二种方法的。•核心问题是：样本为特征向量X时，它属于哪一类可能性有多大，如能确定属于各个类别的百分比(概率),分类决策就有了依据。•例如某个样本的特征向量为X，X属于第一类样本的可能性为60％，而第二类的可能性为40％。在没有任何样本信息的情况下，则应将样本决策为第一类以使错分类可能性小(40％)，这就是这一章考虑分类问题的出发点。7§2-1Bayes分类器•基本概

9、念先验概率：从以往的数据分析中得到的经验值；即根据大量统计确定某类事物出现的比例。如在我国大学中，一个学生是男生的先验概率为0.7，而为女生的概率是0.3，这两类概率是互相制约的，因为这两个概率之和应满足总和为1的约束。8类条件概率密度函数：同一类事物的各个属性都有一定的变化范围，在这些变化范围内的分布概率用一种函数形式表示，则称为类条件概率密度函数。这种分布密度只对同一类事物而言，与其它类事物没有关系。为了强调是同一类事物内部，因此这种分布密度函数往往表示成条件概率的形式。例如x表示某一个学生的特征向量，则

10、男生的概率密度表示成P(x

11、男生)，女生的表示成P(x

12、女生)，这两者之间没有任何关系，即一般的情况下P(x

13、w)+P(x

14、w)≠1，可为从[0,2]之间的任意值。129后验概率：得到信息之后，对以往数据加以修正的概率（一般也是条件概率）；或一个具体事物属于某种类别的概率。•例如一个学生用特征向量x表示，它是男生或女生的概率表示成P(男生

15、x)和P(女生

16、x)，这就是后