基于多目标遗传算法和SVM的特征选择方法

《基于多目标遗传算法和SVM的特征选择方法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要特征选择方法的优劣极大地影响着分类器的设计和性能，它是模式识别核心问题之一,为了提高分类识别算法的可靠性及效率，需要对特征进行合理的选择，以选择出对该分类器而言最能有效区分不同类别的特征。本文把支持向量机SVM用于特征选择，SVM是模式识别的新技术之一，它已经被广泛应用于许多领域，特征选择和支持向量机核参数的设置是影响它的分类准确度的两大重要因素。特征选择能视为一个多目标优化问题，因为在最简单的情况下它包括特征子集规模最小化和性能最优两个目标。针对特征选择和SVM参数同步优化的实现做得不理想、目前用单目标遗传算法进行特征选择存在稳定性差、且得到的分类准确率较低等问题，本文

2、提出了基于非劣分类遗传算法和SVM的多目标特征选择方法，非劣分类遗传算法NSGA是一性能优良的多目标遗传算法。文中的特征选择方法通过Wilcoxon-test方法做相应的粗选择和预处理，并在SVM学习过程中采取在小样本下有很强优势的留一交叉验证法得到单个特征的分类准确率和它们的优劣排序后，把SVM以封装的方式嵌套在非劣分类遗传算法中，通过特征维数最小和误分率最低两个目标为指引进行随机搜索，在逐步进化过程中得到最佳特征子集和SVM同步优化参数。文中提出的策略通过两个基准数据集进行实验和评估。实验表明了策略的可行性和有效性，在单目标特征选择方法中出现的问题也得到了解决，它能获得最

3、佳特征子集且SVM参数也得到同步优化，即最佳特征子集的选择在不降低SVM分类性能的前提下得到实现、SVM的泛化能力也得到提高。关键词：特征选择；支持向量机；多目标优化；非劣分类遗传算法IAbstractFeatureselectionmethodsimpactsbadlyonthedesignandperformanceofclassifiers,itisoneofthemostimportantprobleminPatternRecognition,selectingthemostdiscriminativefeaturesforclassifiersisneededino

4、rdertoimprovethereliabilityandefficiencyofclassificationalgorithms.Inthispaper,SupportVectorMachinesareusedinfeatureselection,SupportVectorMachines(SVM),oneofthenewtechniquesforPatternRecognition,havebeenwidelyusedinmanyapplicationareas.FeatureselectionandthekernelparameterssettingforSVMint

5、hetrainingprocessarethetwoimportantfactorsthatimpacttheclassificationaccuracy.Featureselectioncanbeviewedasamulti-objectiveoptimizationproblem,becauseinthesimplestcaseitinvolvesfeaturesubsetsizeminimizationandperformancemaximization.Forthedefectssuchasthebadstabilityandlowclassificationaccu

6、racyofusingStandardGeneticAlgorithm(SGA)forfeatureselectionandthebadrealizationoffeatureselectionandSVMparametersoptimizationsynchronously,inthisworkafeatureselectionmethodbasedonNon-dominatedSortingGeneticAlgorithm(NSGA)andSVMisproposed.，NSGAisagoodkindofmulti-objectivegeneticalgorithms.In

7、themethod,firstly,theWilcoxon-testisusedasacoarsegeneselectionmethodtoremovemostoftheirrelevantfeatures.Thenthevalueofclassificationaccuracyforsinglefeatureisachievedbyusingleave-one-outcrossvalidationinSupportVectorMachineslearningprocess,sotherankingof