Chap2_模式识别.ppt

《Chap2_模式识别.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、§2.1引言§2.2几种常用的决策规则§2.3正态分布时的统计决策§本章小节§本章习题第二章贝叶斯决策理论与统计判别方法1本章要点1.机器自动识别出现错分类的条件，错分类的可能性如何计算，如何实现使错分类出现可能性最小——基于最小错误率的Bayes决策理论2.如何减小危害大的错分类情况——基于最小错误风险的Bayes决策理论3.模式识别的基本计算框架——制定准则函数，实现准则函数极值化的分类器设计方法第二章贝叶斯决策理论与统计判别方法2本章要点4.正态分布条件下的分类器设计5.判别函数、决策面、决策方程等术语的

2、概念6.Bayes决策理论的理论意义与在实践中所遇到的困难第二章贝叶斯决策理论与统计判别方法3本章难点：1.三种概率：先验概率、类概率密度函数、后验概率的定义2.三种概率之间的关系——Bayes公式3.描述随机变量分布的一些定义，如期望值、方差、尤其是协方差、协方差矩阵，其定义、计算方法及内在含义，透彻掌握其含义才会做到灵活运用。第二章贝叶斯决策理论与统计判别方法4§2.1引言模式识别是一种分类问题：根据识别对象所呈现的观察值，将其分到某个类别中去。统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分类

3、器的设计起指导作用。贝叶斯决策理论是统计模式识别中的一个基本方法，我们先讨论这一决策理论，然后讨论涉及统计判别方法的一些基本问题。5§2.1引言待识别的物理对象的描述问题特征：假设一个待识别的物理对象用其d个属性观察值描述，称之为d个特征；特征空间：这组成一个d维的特征向量，而这d维待征所有可能的取值范围则组成了一个d维的特征空间。6§2.1引言贝叶斯决策理论方法所讨论的问题：对c类不同的物理对象，以及各类在这d维特征空间的统计分布，ωi=1,2,…,c的先验概率P(ωi)及类条件概率密度函数p(x

4、ωi)已知的条

5、件下，如何对某一样本按其特征向量分类的问题。所观察到的某一样本的特征向量为X，在c类中又有不止一类可能呈现这一X值，这种可能性可用P(ωi

6、X)表示。接着要分析正态分布时统计决策的问题以及错误概率等问题。由于这种决策理论以已知概率分布为前提，因此在本章还要讨论概念密度函数的估计问题。7§2.1引言机器实现自动分类有两大类方法：一种是模板匹配方法，而另一种就是对特征空间划分为子空间(每类的势力范围)的方法。本章是针对第二种方法的。核心问题是：样本为特征向量X时，它属于哪一类可能性有多大，如能确定属于各个类别的百分比(

7、概率)分类决策就有了依据。例如某个样本的特征向量为X，X属于第一类样本的可能性为60％，而第二类的可能性为40％。在没有任何样本信息的情况下，则应将样本决策为第一类以使错分类可能性小(40％)。8§2.2几种常用的决策规则本节将讨论几种常用的决策规则。不同的决策规则反映了分类器设计者的不同考虑，对决策结果有不同的影响。最有代表性的是基于最小错误率的贝叶斯决策与基于最小风险的贝叶斯决策，下面分别加以讨论。92.2.1基于最小错误率的贝叶斯决策一般说来，c类不同的物体应该具有各不相同的属性，在d维特征空间，各自有不同的

8、分布。当某一特征向量值X只为某一类物体所特有，问题在于出现模棱两可的情况。此时，任何决策都存在判错的可能性。这一节讨论的是使错误率为最小的决策方法，称为基于最小错误率的贝叶斯决策理论102.2.1基于最小错误率的贝叶斯决策最小错误率是在统计意义上的含义。条件概率概念。P(*

9、#)是条件概率的通用符号，在“

10、”后边出现的#为条件，之前的*为某个事件，即在某条件#下出现某个事件*的概率。P(ωK

11、X)是表示在X出现条件下，样本为ωK类的概率。一个事物在某条件下出现的概率P(*

12、#)与该事件在不带任何条件下出现的概率(写

13、成P(*))是不相同的。例如全世界人口有60亿。因此你见到一个人在不带任何条件下，有20%的可能性是中国人P(*)=0.2，但是当有条件时（地理条件），这个值会改变。112.2.1基于最小错误率的贝叶斯决策例——癌细胞的识别假设每个要识别的细胞已作过预处理，并抽取出了d个特征描述量，用一个d维的特征向量X表示，识别的目的是要依据该X向量将细胞划分为正常细胞ω1或者异常细胞ω2。类别的状态是一个随机变量。概率的估计包含两层含义，一是由统计资料表明，正常细胞与异常细胞在统计意义上的比例，这称为先验概率P(ω1)及P(ω

14、2)，另一种则分别表示所检查细胞呈现出不同属性的概率密度函数P(x

15、ω1)和P(x

16、ω2)。122.2.1基于最小错误率的贝叶斯决策例——癌细胞的识别显然在一般情况下正常细胞占比例大，即P(ω1)>P(ω2)，因此如果我们不对具体的细胞化验值作仔细观察，我们作出该细胞是正常细胞的判决，在统计的意义上来说，也就是平均意义上说，错判可能性比判为异常细胞时小。但是