模式识别-5--特征选择与提取.ppt

《模式识别-5--特征选择与提取.ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、第五章特征选择与提取基本概念模式类别可分性的测度特征选择离散K-L变换采用K-L变换的分类特征提取§5.1基本概念1.特征形成根据被认识的对象产生出一组基本特征，这些基本特征可以是通过计算得到的，也可以是通过一定的工具测量出来的，这些特征我们叫做原始特征。通常从物理量到原始特征需要经过很多的过程，如识别物体，要对物体影像进行数字化，得到数字图像，再对数字图像进行各种预处理，从而得到物体的几何的、颜色的特征。2.特征选择和提取是模式识别的一个关键问题讨论分类器设计时，都假定给出特征向量维数确定的样本集，其中各样本的每一维都是该样本的一个特征；这些特征的选择是很重要的，它直接影响到分类器的设计及

2、其性能；假若对不同的类别，这些特征的差别很大，则比较容易设计出具有较好性能的分类器。3.特征选择和提取是构造模式识别系统的一重要课题在很多实际问题中，往往不容易找到那些最重要的特征，或受客观条件的限制，不能对它们进行有效的测量；因此在测量时，由于人们心理上的作用，只要条件许可总希望把特征取得多一些；另外，由于客观上的需要，为了突出某些有用信息，抑制无用信息，有意加上一些比值、指数或对数等组合计算特征（在数据上作一些处理）；如果将数目很多的测量值不做分析，全部直接用作分类特征，不但耗时，而且会影响到分类的效果，产生“特征维数灾难”问题。为了设计出效果好的分类器，通常需要对原始的测量值集合进行分

3、析，经过选择或变换处理，组成有效的识别特征；在保证一定分类精度的前提下，减少特征维数，即进行“降维”处理，使分类器实现快速、准确和高效的分类。为达到上述目的，关键是所提供的识别特征应具有很好的可分性，使分类器容易判别。为此，需对特征进行选择。应去掉模棱两可、不易判别的特征；所提供的特征不要重复，即去掉那些相关性强且没有增加更多分类信息的特征。说明实际上，特征选择和提取这一任务应在设计分类器之前进行；但从通常的模式识别学习过程来看，在讨论分类器设计之后讲述特征选择和提取，更有利于加深对该问题的理解。信息获取预处理特征选取分类器设计模式分类错误率检测改进分类器(参数)识别结果输出4.特征选择与特

4、征提取所谓特征选择，就是从n个度量值集合{x1,x2,…,xn}中，按某一准则选取出供分类用的子集，作为降维（m维，m

5、样产生出来的原始特征可能很多（几十甚至几百个），或者说原始特征空间维数很高，需要降低（或称压缩）维数以便分类；一种方式是从原始特征中挑选出一些最有代表性的特征，称之为特征选择；另一种方式是用映射（或称变换）的方法把原始特征变换为较少的特征，称之为特征提取。§5.2模式类别可分性的测度一、距离和散布矩阵点到点之间的距离点到点集之间的距离(距离平方、均方距离)均方距离类内距离类内散布矩阵因为xi和xj是同一类中的不同样本，它们应该是相互独立的模式样本向量，因此样本距离的均方值为：K分量的无偏方差K分量的均值其中R是该类模式分布的相关矩阵，m为均值向量，C为协方差矩阵。对属于同一类的模式样本，类内

6、散布矩阵表示各样本点围绕其均值周围的散布情况，这里即为该分布的协方差矩阵。类间距离和类间散布矩阵和为两类模式样本集合，类间距离表示：通常取一些简单的表达式来定义：其中m1和m2是两个类模式样本集合的各自均值向量，m1k和m2k是m1和m2的第k分量，n为维数。可以写成矩阵相乘的形式表示1和2两类模式的类间散布矩阵；当三类或者更多的时候就引入先验概率作为加权:其中为多类模式（这里共c类）分布总体的均值向量多类模式集散布矩阵多类的类内散布矩阵，可用各类类内散布矩阵的先验加权表示：其中Ci第i类的协方差矩阵。另外，也可用总体散布矩阵反映多类模式的可分性：Sb1、St、Sw之间满足：注：以上各类散布

7、矩阵反映了各类模式在模式空间的分布情况，但它们与分类的错误率没有直接联系。二、散度散度的定义前面定义过似然函数和似然比，这些都提供了两种模式可分的度量，也就是在错误概率最小意义下的模式样本的分类。求该式的值，需要和的确切的表达式，这个要求较高，我们转而求同理于是，定义散度该式子是散度的一般表达式。注：当ωi和ωj的分布是一些特殊的表达式子，那么对数似然比函数和散度可以得到一些很简单形式。当ωi和ωj服从正态分