基于加权最大边缘间距准则MMC的特征选择问题.pdf

《基于加权最大边缘间距准则MMC的特征选择问题.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、第35卷第1期温州大学学报·自然科学版2014年2月、，ol35．NO1JournalofWenzhouUniversity‘NaturalSciencesFeb，2014基于加权最大边缘间距准则MMC的特征选择问题董乃铭，洪振杰(温州大学数学与信息科学学院，浙江温州325035)摘要：特征选择是模式识别经典而重要的课题．由于不同类别样本之间存在边缘样本点，其分布区域互相交叉重叠，经典的MMC(MaximizeMarginalCriterion)方法简单地采用最大化类中心距离，不利于样本分类．针对此问题，给出了一种基于加权最大边缘间距准则(加权MMC)并改进了的特征选择

2、算法，该方法考虑了不同类别数据边缘样本点在模式分类中的作用，建立了基于最大边缘间距的新型特征评分准则，提高了边缘样本点在衡量特征判别能力时的作用．在公开数据集PIE和MIT．CBCL3000标准人脸图像库上进行了实验，结果表明，该算法与经典的MMC特征选择算法相比较具有明显的优势．关键词：模式识别；加权MMC；边缘样本点中图分类号：TP391．41文献标志码：A文章编号：1674．3563(2014)01．0025．06DOI：10．3875~．issn．1674．3563．2014．01．004本文的PDF文件可以从xuebao．WZU．edu．ca获得模式分类主要任

3、务是处理高维数据．由于高维数据计算量大且复杂，从而导致运算时间变长，且不相关或者冗余特征往往干扰分类结果，不利于样本数据分类，因此，如何将高维数据降维，从而减少运行时间，降低冗余特征对样本分类的不利影响，成为处理高维数据面临的一个重要问题【l之】．在处理高维数据中，特征选择是一种非常重要的方法．根据样本类别标签信息，特征选择算法可以粗略地分成三类：无监督特征选择算法，半监督特征选择算法，监督特征选择算法．这些特征选择算法可以被归到Filter和Wrapper类中．Wrapper是特殊的分类，是基于特定分类器的特征子集选择方法；而Filter独立分类，特征子集的选择基于定

4、义好的分类器．通常，Wrapper可以取得比Filter更好的结果，因为Wrapper直接关系到特定分类器的算法结果．但是，Wrapper比Filter更耗费计算量，同时缺乏良好的泛化能力【jJ．Fisherscore和laplaceianscore是运用很广泛的Filter形式的特征选择算法，它们同属于一般的全局特征选择框架，在这个框架中，特征子集的选择是基于整个特征全集的评分，评分是根据特定形式给出的．计算评分有很多种方法，通常会采用散度比和散度差的形式．散度比应用在特征选择上时，由于样本个数相对于样本维数而言要少很多，那么在计算中就会出现小样本问题，导致模式分类收

5、稿日期：2013．04．叭基金项目：浙江省研究生创新活动计划(YK2010093)作者简介：董乃铭(1987一)，男，浙江温州人，硕士研究生，研究方向：优化算法．十通讯作者，hong@WZU．edu．cn26温州大学学报·自然科学版(2014)第35卷第1期出现异常．因此，在评分算法中，采用散度差的形式来计算特征评分，从而避免小样本问题，同时，在模式分类中，可以取得与散度比相差无几，甚至超过散度比的结果．人脸识别技术，由于其在日常生活中的巨大应用前景，出现了越来越多的研究成果，hexiaofei等人在文献[5]中提出的基于laplacianscore的特征选择算法，在实

6、验上取得了很好的效果，在文献[6]中提出的基于laplacian准则的最小协方差标准j，取得了较高的精确度；LiHaifeng等人提出的基于最大间距准则(MMC)算法[，克服了fisher算法中的奇异值问题，取得了较好的效果．本文研究方法基于最大间距准则特征选择算法．最大间距准则算法对于克服奇异值问题取得了很好的效果．该算法主要考虑样本间的中心距离，如图1(a)所示，但是对于图1(b)所示样本的分布情形，边缘样本点相距很小，但属于不同的样本类，在分类过程中可能会被归为一类，从而导致分类错误．边缘样本交叉，不利于样本的分类，因此在分类过程中若考虑到边缘样本点在分类中的作用

7、，则可克服样本边缘交叉带来的分类误差．(a)(b)图1样本分布lMMcscore特征选择算法假设有c类样本，每类样本为N维，共有，z个样本，X={X1，⋯，}，其中n《N，传统的样本的类内散度矩阵、类间散度矩阵、总体散度矩阵公式如下：c1"(S=∑∑(一，)(一)，st=Sw+Sb，其中，=Xi，表示第i类样本总体均值．‘』·，^定义i、J类样本之间的边缘距离如下：，)=d(mi，mj)一n(i)一()，其中，(mi,mj)=mi-mjll，，z()=~nJXj一lI，(，)表示两类样本中心距离，()i1表示第i类样本距该样本中心的平均距