贝叶斯分类器gaippt课件.ppt

《贝叶斯分类器gaippt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二章贝叶斯分类器2.1最小错误率判别规则2.2最小风险判别规则2.3分类器的错误率2.4奈曼-皮尔逊判别规则2.5最小最大判别规则模式识别的分类问题就是根据待识别对象的特征向量值及其它约束条件将其分到某个类别中去。统计决策理论是模式分类问题的基本理论之一,它对模式分析和分类器的设计有着实际的指导意义,贝叶斯(Bayes)决策方法是统计模式识别中的一个重要方法,是处理模式分类问题的基本理论之一。本章要讨论的贝叶斯分类器在统计模式识别中被称为最优分类器。引言例1癌细胞识别问题:如何区分正常细胞与癌细胞?正常细胞癌细胞x1x2差异描述,特征选择x1圆形度x2形心偏差度称x为细胞的

2、特征向量或称模式x5000个细胞的数据分布正常细胞类用ω1表示癌细胞类用ω2表示记x=(x1,x2)T采用贝叶斯方法必须满足下列两个条件:②各类别总体的概率分布是已知的。即P(ωi)与P(x/ωi)已知i=1,2,…,M其中P(ωi)称为类先验概率第i类出现的概率.P(x/ωi)称为类条件概率第i类特征向量的概率密度函数①要决策分类的类别数是一定的；假设要研究的分类问题有M个类别，分别用ωi来表示，i＝1，2，…,M模式识别问题假设对象来自m个不同的类,用d个特征来描述对象.特征向量x=(x1,x2,...xd)T,x也称为模式.特征(模式)空间S所有的特征(模式)构成的集合

3、.S为d维空间Rd的一个子集,模式x是S中的一个点.模式识别问题将模式空间划分为m个不同的区域,使得每个区域对应到一个类x1x2错识率也称错误率,是判别分类器好坏的重要依据2.1最小错误率判别规则1.问题描述2.判别规则3.决策域.判别函数4.参数估计5.计算实例1.问题描述在模式分类问题中,人们往往希望尽量减少分类的错误.从这样的要求出发,利用Bayes公式,可得出使错误率最低的分类规则,称之为基于最小错误率的贝叶斯分类决策癌细胞识别问题,设x为待识别的细胞,ω为其类别.ω=ω1表示x为正常细胞ω=ω2表示x为癌细胞如果只用类别先验概率P(ω1)和P(ω2)来判别,会把所有

4、的待识别细胞都归于正常类,根本达不到将正常细胞与癌细胞区分开来的目的计算后验概率应充分利用待识细胞的特征向量x中所包含的信息.在给定x的情况下,类别ω1,ω2出现的概率P(ω1/x)与P(ω2/x)是不一样的由引言中的假设,已知类别先验概率P(ωi)i=1,2类别条件概率P(x/ωi)i=1,2由Bayes公式,P(ωi/x)=P(x/ωi)P(ωi)ΣjP(x/ωj)P(ωj)i=1,2称为后验概率，由此，可以判决x所属的类别…2.判别规则Bayes公式是通过待识样本提供的模式特征信息x将类先验概率P(ωi)转化为类后验概率P(ωi/x)这样,基于最小错误率的贝叶斯判别规则

5、为若P(ω1/x)>P(ω2/x)则判x∈ω1若P(ω2/x)>P(ω1/x)则判x∈ω2若P(ω1/x)=P(ω2/x)不能判定,拒判＞等价的判别规则①x∈ω*=ArgMax{P(ωi/x)}ωi②x∈ω*=ArgMax{P(x/ωi)P(ωi)}ωi③l(x)=P(x/ω1)P(x/ω2)P(ω2)P(ω1)＜x∈ω1x∈ω2④h(x)=-lnl(x)=-lnP(x/ω1)+lnP(x/ω2)＜＞P(ω1)P(ω2)lnx∈ω1x∈ω23.决策域.判别函数决策域:对于m类分类问题，按照判别规则可以把特征向量空间(或称模式空间)分成m个互不相交的区域Ri,i=1,2,…,m

6、决策边界:划分决策域的边界，在数学上用解析形式可以表示成决策边界方程（等式）判别函数:用于表达决策规则的某些函数。判别函数与决策边界方程是密切相关的，而且它们都由相应的判别规则所确定。①gi(x)=P(ωi/x)i=1,2,…,m，后验概率②gi(x)=P(x/ωi)P(ωi)i=1,2,…,m，①分子③gi(x)=lnP(x/ωi)+lnP(ωi)i=1,2,…,m若k=ArgMax{gi(x),i=1,2,…,m}则x∈ωk,称gi(x)为第i类的判别函数不同的判别方法有不同的判别函数对每一类别,定义一个函数gi(x)i=1,2,…,m,且满足下述gi(x)均为最小错误率

7、判别规则判别函数.确定了判别函数，决策边界也就确定下来了,相邻的两个决策域在决策边界上其判别函数值是相等的。如果决策域Ri与Rj是相邻的,则分割这两个决策域的决策边界方程应满足：gi(x)＝gj(x)一般地说，模式x为二维时，决策边界为一曲线；三维时，决策边界为一曲面；d维(d＞3)时，决策边界为一超曲面。一维时，决策边界为一分界点；第i类决策域x1x2RiRj相邻的决策域的决策边界方程满足gi(x)＝gj(x)决策边界分类器设计分类器可看成是由硬件或软件组成的“机器”，贝叶斯分类器的结构如下图所示(m