模式识别7-特征选择和提取教学文案.ppt

《模式识别7-特征选择和提取教学文案.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、模式识别7-特征选择和提取特征选择和提取为了设计出效果好的分类器，通常需要对原始的测量值集合进行分析，经过选择或变换处理，组成有效的识别特征；在保证一定分类精度的前提下，减少特征维数，即进行“降维”处理，使分类器实现快速、准确和高效的分类。为达到上述目的，关键是所提供的识别特征应具有很好的可分性，使分类器容易判别。为此，需对特征进行选择。应去掉模棱两可、不易判别的特征；所提供的特征不要重复，即去掉那些相关性强且没有增加更多分类信息的特征。特征选择和提取说明实际上，特征选择和提取这一任务应在设计分类器之前进行；从通常的模式识别教学经验看，在讨论分类器设

2、计之后讲述特征选择和提取，更有利于加深对该问题的理解。特征选择和提取所谓特征选择，就是从n个度量值集合{x1,x2,…,xn}中，按某一准则选取出供分类用的子集，作为降维（m维，m

3、胞是异常的；首先找出一组能代表细胞性质的特征，为此可计算细胞总面积总光密度胞核面积核浆比细胞形状核内纹理……特征选择和提取以细胞自动识别为例这样产生出来的原始特征可能很多（几十甚至几百个），或者说原始特征空间维数很高，需要降低（或称压缩）维数以便分类；一种方式是从原始特征中挑选出一些最有代表性的特征，称之为特征选择；另一种方式是用映射（或称变换）的方法把原始特征变换为较少的特征，称之为特征提取。7.1模式类别可分性的测度距离和散布矩阵[点到点之间的距离][点到点集之间的距离][类内距离]7.1模式类别可分性的测度距离和散布矩阵[类内散布矩阵]对属于同

4、一类的模式样本，类内散布矩阵表示各样本点围绕其均值周围的散布情况，这里即为该分布的协方差矩阵。[类间距离和类间散布矩阵][多类模式集散布矩阵]以上各类散布矩阵反映了各类模式在模式空间的分布情况，但它们与分类的错误率没有直接联系。（若与分类错误率联系起来，可采用散度作为类别可分性的度量，在此不详细介绍）类别可分离性判据：衡量不同特征及其组合对分类是否有效的定量准则理想准则：某组特征使分类器错误概率最小实际的类别可分离性判据应满足的条件：度量特性：与错误率有单调关系当特征独立时有可加性：单调性：常见类别可分离性判据：基于距离、概率分布、熵函数类间可分性:

5、=所有样本间的平均距离：(8-1)squaredEuclidian(8-5)类内平均距离类间距离(8-6)基于距离的准则概念直观，计算方便，但与错误率没有直接联系样本类间离散度矩阵样本类内离散度矩阵类间可分离性判据7.2特征选择设有n个可用作分类的测量值，为了在不降低（或尽量不降低）分类精度的前提下，减小特征空间的维数以减少计算量，需从中直接选出m个作为分类的特征。问题：在n个测量值中选出哪一些作为分类特征，使其具有最小的分类错误？特征选择:=从原始特征中挑选出一些最有代表性、分类性能最好的特征进行分类。从D个特征中选取d个,共CdD种组合。若

6、不限定特征选择个数，则共2D种组合－典型的组合优化问题特征选择的方法大体可分两大类：Filter方法：根据独立于分类器的指标J来评价所选择的特征子集S，然后在所有可能的特征子集中搜索出使得J最大的特征子集作为最优特征子集。不考虑所使用的学习算法。Wrapper方法：将特征选择和分类器结合在一起，在学习过程中表现优异的的特征子集会被选中。经典特征选择算法许多特征选择算法力求解决搜索问题，经典算法有：?分支定界法:最优搜索，效率比盲目穷举法高。单独最优特征组合法：次优搜索。顺序后退法顺序前进法模拟退火法Tabu搜索法遗传算法特征选择单独最优特征组合计

7、算各特征单独使用时的可分性判据J并加以排队，取前d个作为选择结果不一定是最优结果当可分性判据对各特征具有(广义)可加性，该方法可以选出一组最优的特征来，例：各类具有正态分布各特征统计独立可分性判据基于Mahalanobis距离特征选择顺序前进法自下而上搜索方法。每次从未入选的特征中选择一个特征，使得它与已入选的特征组合在一起时所得的J值为最大，直至特征数增加到d为止。该方法考虑了所选特征与已入选特征之间的相关性。特征选择顺序后退法该方法根据特征子集的分类表现来选择特征搜索特征子集：从全体特征开始，每次剔除一个特征，使得所保留的特征集合有最大的分类

8、识别率依次迭代，直至识别率开始下降为止特征选择遗传算法从生物进化论得到启迪。遗传，变异，自然选择。基因链码