特征选择技术研究

《特征选择技术研究》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、分类号________密级_______ＵＤＣ________华中科技大学硕士学位论文特征选择技术研究学位申请人姓名：贾沛申请学位学科专业：模式识别与智能系统指导教师姓名：桑农教授论文答辩日期2003年5月9日学位授予日期答辩委员会主席评阅人AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineering英文题目：ResearchonFeatureSelectionCandidate（学位申请人）:JiaPeiMajor（学科专业）:PatternRec

2、ognition&IntelligentSystemsSupervisor（指导老师）:Prof.SangNongHuaZhongUniversityofScience&TechnologyWuhan430074,P.R.ChinaMay,2003摘要特征选择是模式识别以及信息理论中的一个重要组成部分。本文论述的特征选择是期望从特征空间中选择一个较小的空间，使得类别之间具有最好的区分能力。经典的类别可分性度量是基于类内类间距离、基于概率分布的最小错误概率或散度、以及基于信息理论的熵概念的。近几年，对特征选择领域的研究有很多新的成果，这其中诸如互熵（或者说互信息

3、）、多重相关/部分相关、模糊理论度量、神经网络以及遗传算法在特征选择中的应用等等。本文主要针对当前在特征选择领域的三大热门话题，即基于模糊理论度量的特征选择技术、基于神经网络的特征选择技术、以及基于遗传算法的特征选择技术进行了详细论述。并对部分新兴理论做了理论阐述和方法介绍，对大部分算法进行了实验分析。在运用模糊理论度量进行特征选择的过程中，作者自定义了一种具有良好分析能力的基于正态分布概率的π型隶属度函数。然后，在运用神经网络进行特征选择的过程中，运用上述隶属度函数将特征空间几乎一一映射到隶属度空间，进而对隶属度空间进行划分识别，并在此意义上提出了隶属度意义

4、上的剪枝从而取代了传统意义上的剪枝，构造了一种全新的普适的运用神经网络进行特征选择的方法。尤其，当运用隐层结点不断增大的RBF神经网络时，该方法具有良好的稳定性。关键词：特征选择类别可分性模糊神经网络遗传算法IAbstractFeatureselectionisanimportantpartofpatternrecognitionandinformationtheory.Whatthispaperfocusesistochoosethemostsuitablefeaturestoseparatedifferentclasses.Theclassicaltheo

5、riesofseparabilityofdifferentclassesarebasedoninterclass/intraclassdistances,minimalerrorupperlimitordivergence,andentropy.Theseyears,therearemanynovelscientificdevelopmentsinfeatureselection,suchas,crossentropy(mutualinformation),multiplecorrelation/partialcorrelation,andtheapplica

6、tionoffuzzy,neuralnetwork,andgeneticalgorithminfeatureselection,etc.Thispapermajorsin3hottesttopics,whicharebasedonfuzzy,neuralnetworksandgeneticalgorithmrespectively.Somefreshtechniquesandtheoriesareintroducedandanalyzed,andalsosomeexperiments.Infuzzytheory,theauthorintroducesafres

7、hπmethodofdefiningthemembershipbasedontheprobabilityofnormaldistribution.Afteralomost-1-to-1mappingthefeaturespacetothemembershipspace,theauthordefinesanewuniversalmembership-basednode-prunemethodinsteadoffeature-basednode-prunemethod,andusesneuralnetworktoclassifydifferentclasses.P

8、articularly,whenusi