模式识别第三讲-统计决策理论.ppt

《模式识别第三讲-统计决策理论.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第二章统计决策理论1©北京工业大学计算机学院®2.1引言PR中的分类问题是根据识别对象特征的观测值，将其分到相应的类别中去。统计决策理论是模式分类的主要理论和工具。这一章要讨论：最小错误率贝叶斯决策最小风险贝叶斯决策2©北京工业大学计算机学院®2.2贝叶斯决策问题：假定要识别的物理对象x有d个特征，x1，x2，…，xd，记作x=[x1，x2，…，xd]T，所有的特征向量构成了d维特征空间。假定这些待识别的对象来自c个类别，ωi，i=1，2，…，c，并且每个类别出现的先验概率P[ωi]和类条件概率密度p(x

2、ωi)，i=1，2，…，c已知。3©北京工业大学计算机学院®

3、如果观察到一个样本，那么把分到哪一类去才是合理的呢？这是这一章要解决的问题。4©北京工业大学计算机学院®一.最小错误率贝叶斯决策在模式分类问题中，人们希望尽量减小分类的错误。不可能不犯错误，因为样本是随机的…我们希望所使用的分类规则，能使错误率达到最小。5©北京工业大学计算机学院®以细胞识别为例：细胞切片的显微图像经过一定的预处理后，抽取出d个特征。每一细胞可用一个d维的特征向量x表示。希望根据x的值分到正常类ω1或异常类ω2中去。假定可以得到Pr[ω1]、Pr[ω2]（Pr[ω1]+Pr[ω2]=1）,和p(x

4、ω1)、p(x

5、ω2)。如果只有先验概率，那么合理的

6、选择是把x分到Pr[ω1]、Pr[ω2]大的一类中去。一般由于Pr[ω1]>Pr[ω2]，这样就把所有的细胞分到了正常的一类。失去了意义。6©北京工业大学计算机学院®如果有细胞的观测信息，那么可以改进决策的方法。为了简单起见，假定x是一维的特征（如胞核的总光强度）。p(x

7、ω1)和p(x

8、ω2)已知：利用贝叶斯公式：7©北京工业大学计算机学院®得到的Pr[ωi

9、x]称为状态（正常、异常）的后验概率。上述的贝叶斯公式，通过观测到的x，把先验概率转换为后验概率。这时，基于错误率最小的贝叶斯决策规则为：后面要证明这个决策规则是错误率最小的。8©北京工业大学计算机学院®上面

10、的贝叶斯决策规则还可以表示成以下几种形式：若，则若，则9©北京工业大学计算机学院®称为似然比若，则则:4)取的负对数，有10©北京工业大学计算机学院®例1：某一地区的统计资料，Pr[ω1]=0.9（正常），Pr[ω2]=0.1（异常），有一待识别细胞，其观测值为x，从类条件概率密度曲线上查出，p(x

11、ω1)=0.2，p(x

12、ω2)=0.4。解：利用贝叶斯公式，有∴∴应把x归为ω1类，不是完全正确，但错误率最小。11©北京工业大学计算机学院®例2：假定一维测量（特征）值y的类条件密度函数为：而且Pr[ω1]=Pr[ω2]。画出两类的概率密度曲线并求分类规则。解：12©

13、北京工业大学计算机学院®似然比检验上式两边取对数，再乘以－2，有∴原因是Pr[ω1]=Pr[ω2]，且分布形式相同，又对称，只是均值有区别分界点在两均值的中点y=7，可以由确定。，构成一个判别函数。13©北京工业大学计算机学院®下面证明上述基于最小错误率的贝叶斯规则是错误率最小的。证明：错误率是对所有x的平均错误率Pr[e]两类时的条件错误概率为：14©北京工业大学计算机学院®对每个x，因为决策为后验概率最大的类别，Pr[e

14、x]为最小。因此错误率最小。15©北京工业大学计算机学院®对于多类情况，最小错误率决策规则为：若，则或若则称为判别函数（discriminan

15、tfunction）。16©北京工业大学计算机学院®二.最小风险贝叶斯决策在实际工作中，有时仅考虑错误率最小是不够的。地震预报要引入比错误率更广泛的概念—风险、损失。细胞识别17©北京工业大学计算机学院®要考虑行动的后果、行动的风险。采取的决定称为决策或行动。决策可以为分到某一个类别，或“拒绝”等。假设一共有m个决策。每个决策或行动都有一定的代价或损失。损失函数表示真实状态为，采取行动为时的损失。18©北京工业大学计算机学院®对于给定的x，采取决策时的条件损失或条件风险为：如果在采取每一决策时，其条件风险都最小，则对所有的x作决策时，其平均（期望风险）也最小。称为最

16、小风险的贝叶斯决策。对所有的x，采取决策，风险的期望值为：称为平均风险或期望风险19©北京工业大学计算机学院®最小风险的贝叶斯决策规则：若，则采取。20©北京工业大学计算机学院®对于实际问题，最小风险的贝叶斯决策可按如下步骤进行：根据Pr[ωj]，p(x

17、ωj)，j=1，2，…，c，以及给出的x，计算后验概率计算条件风险即若，则采用决策。从得到的m个条件风险中，选最小的。21©北京工业大学计算机学院®例3：仍以例1中的细胞为例，Pr[ω1]=0.9，Pr[ω2]=0.1，p(x

18、ω1)=0.2，p(x

19、ω2)=0.4，=0，=6，=1，=0。解：由例1的计算，有