分类问题中特征选择算法的研究

《分类问题中特征选择算法的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中国农业大学博士论文摘要摘要特征选择是数据挖掘中的一个重要研究方面，通过特征选择可以删除无关、冗余的信息，降低训练样本的维数、降低算法的复杂度和噪音的干扰，提高模型的推广能力，因而在分类问题中起着很重要的作用。本文对特征选择的研究主要建立在粗糙集理论和支持向量机的基础上．粗糙集理论是一种新的处理模糊、不确定性知识的数学工具．属性约减是粗糙集理论研究的重要内容，也就是在保持知识库分类能力不变的条件下，删除其中不相关或不重要的知识，达到降低维数的目的；另外属性约减的含义较特征选择的含义更加丰富。特征选择效果的好坏可以通过分类精度来衡量，因而选择一种较好的分类算法也是很重要的

2、，本文选取支持向量机作为分类算法，原因它是基于统计学习理论的一种新的机器学习算法，遵循的是结构风险最小化原则而不是经验风险最小化原则，具有较强的推广能力．本文的主要研究成果如下：1、给出了属性重要性的频率定义，在它的基础上建立了一种基于广义差异矩阵的o_1属性约减算法，将属性约减问题转化为一个0--1运算问题，有效地提高了属性约减的效率；同时对该算法能否能够得到最小约减进行了详实地研究，并得到了一些重要的结论，最后将此算法推广到不完备信息系统中．2、建立了基于0-1整数规划的属性约减算法和基于线性规划的属性约减算法，将属性约减问题转化为一个o-1整数规划问题和线性规划问

3、题；同时对最优解与属性约减之问的关系进行了研究，得到了～些重要的结论．3，给出了一种针对多类决策系统的属性约减算法，将多类问题的约减转化成两类问题的约减。有效地提高了约减的效率；同时对该算法得到的约减是否为最小约减进行了讨论，并得到了一些有关结论。4、对基于支持向量机的特征选择算法进行了研究，包括构建了一种基于^一厶一norm支持向量机的特征选择算法、Embedded式支持向量机特征选择算法和Robust支持向量机特征选择算法。这些模型的求解转化成二阶锥规划。5、建立了一种基于粗糙集理论数据预处理的支持向量机分类模型，首先通过租糙集理论进行数据预处理，再通过支持向量机进

4、行分类，有效地提高了支持向量机的分类效率和精度；同时建立了一种基于有效样本和重要特征的支持向量机分类模型，通过租糙集理论选择有效的训练样本和重要的特征，可以有效地降低训练集的规模和噪音的干扰，提高分类精度．关键词：粗糙集理论，支持向量机，特征选择，属性约减，锥规划中国农业大学博士论文AbstractFeatureSelectionisallimportant11eseal℃hconceptindatamining．ByfeatureSelection,itCalleffectivelyeliminatebothirrelevantandredundantinformat

5、ion,andreducethetrainingsamplesdimensionandcomplexityofalgorithmandescapethenoisedisturbance．Intheresult,thegeneralizationperformanceandclassificationprecisionofmodelwouldhavebeeneffectivelyimproved．Sofeatureselectionalwaysplaysanimportantroleinclassificationproblem．ResearchonfeatureSele

6、ctioninthispaperisbasedonRoughSetTheoryandSupportVectorMachine．RoughSetTheoryisaneffectivetoolindealingwithvaguenessanduncertaintyinformation．At盱ibutereductionisaveryimportantconceptinRoughSetTheory,theprocessoffindingasmallersetofattributesthanoriginal哪withthesaxneclassificationperforma

7、nceasoriginalsetsiscalledattributereduction．Themeaningaboutattributereductionismoreabundantthanthataboutfeatureselection．Thefeatureselectionperformancecanbemeasuredbytheclassificationaccuracy,andthenitisalsoveryimportanttoselecttheclassificationalgorithmwithgreaterclassif