特征选择算法综述

《特征选择算法综述》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第19卷第9期电子设计工程2011年5月Vol.19No.9ElectronicDesignEngineeringMay.2011特征选择算法综述121计智伟，胡珉，尹建新（1.浙江农林大学信息工程学院，浙江临安311300；2.上海大学悉尼工商学院，上海200072）摘要：自20世纪90年代以来，特征选择成为模式识别和机器学习领域的重要研究方向，研究成果十分显著，但是也存在许多问题需要进一步研究。本文首先将特征选择视为特征集合空间中的启发式搜索问题，对特征选择涉及的四个要素进行了阐述，然后从各个角度对特征

2、选择算法进行了分类，概述了其各个分支的发展态势，最后探讨了基于多目标免疫优化的特征选择方法的研究思路。关键词：特征选择；特征子集；搜索；多目标优化中图分类号：TP18文献标识码：A文章编号：1674－6236（2011）09-0046-06AsurveyoffeatureselectionalgorithmJIZhi-wei1，HUMin2，YINJian-xin1（1.SchoolofInformationEngineering，ZhejiangAgriculturalandForestryUnivers

3、ity，Lin'an311300，China；2.SchoolofSydneyInstituteofLanguage&Commerce，ShanghaiUniversity，Shanghai200072，China）Abstract：Featureselectionhasbeenanimportantresearchareainpatternrecognitionandmachinelearningsince90'softhe20thcentury.Greatachievementshavebeenachi

4、eved，howevermanyproblemsremaintobeunsolvedandneedfurtherinvestigation.Inthispaper，wefirstdescribefeatureselectionintermsofheuristiesearchthroughthespaceoffeaturesets，discussingthefourfactorsinfeatureselectionalgorithms，thenclassifymanypopularfeatureselecti

5、onalgorithmsfromdifferentpointsofviewandintroduceseveralembranchmentsoffeatureselectionandthedevelopment.Atlast，wediscusstheresearchthoughtofanewfeatureselectionalgorithmbasedonmulti-objectiveimmuneoptimizationmethod.Keywords：featureselection；featuressubse

6、t；search；multi-objectiveoptimization特征选择（featureselection）作为一种常见的降维方法是多而急剧增加[1-4]。因此，选择好的特征不仅可以减小计算复模式识别的研究热点之一。它是指从原始特征集中选择使某杂度，提高预测精度，而且有助于寻找更精简的算法模型。种评估标准最优的特征子集。其目的是使选出的最优特征子2）大规模数据处理问题的不断出现，如信息检索，遗传基因集所构建的分类或回归模型达到和特征选择前近似甚至更分析等[3-4]。所谓大规模，一方面指样本数目的庞大

7、，另一方面好的预测精度，这不但提高了模型的泛化能力、可理解性和指描述样本的特征维数高。3）随着应用领域的不断扩大，所计算效率，同时可降低“维度灾难”的发生频率。遇到的数据类型也将不断变化。因此，特征选择算法的设计在机器学习领域中，特征选择被认为是跟学习算法紧密需要适应新的数据类型。正是由于上述原因，特征选择的研联系的一个问题，可表述为：给定一个学习算法L、一个数据究成为模式识别和机器学习领域的重要课题，它具有重要的集S，S来自一个特征X1，X2，X3，…，Xn的具有类别标记Y的学术意义和实用价值。符合分布的

8、样本空间，则一个最优特征子集Xopt是使得某1特征选择作为搜索问题的4个要素个评价准则J=J（L，S）最优的特征子集。因此，该领域的学者认为特征选择的结果应该用学习算法来评价。一般而言，特征选择可以看作一个搜索寻优问题。对大特征选择作为统计学领域的经典问题，自上个世纪60小为n的特征集合，搜索空间由2n-1种可能的状态构成。Davies[5]，即除了年代起就有学者对此进行了研究；同时，它也是机器学习领等证明最小特