特征选择中信息熵的应用

《特征选择中信息熵的应用》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、542009，45（15）ComputerEngineeringandApplications计算机工程与应用特征选择中信息熵的应用李杨寰，高峰，李腾，周智敏LIYang-huan，GAOFeng，LITeng，ZHOUZhi-min国防科技大学电子科学与工程学院，长沙410073SchoolofElectronicScienceandEngineering，NUDT，Changsha410073，ChinaE-mail：poptopli@163.comLIYang-huan，GAOFeng，LITeng，etal.N

2、ovelmethodforfeatureselectionbasedonentropy.ComputerEngineeringandApplications，2009，45（15）：54-57.Abstract：Thispaperappliestheentropyconceptofinformationtheorytofeatureselection，anddefinestwoinformationmeasure－mentsoverlapentropyanderrorentropythatareusedtoevalua

3、tefeatures.Thenthephysicalmeaningsofthetwodefiniensareexplained.Thecrucialproblemabouthowtodividetheinterzonesisprovidedinthefollowing.Thenthispaperaddsakindofsimilaritytoformacompletefeatureselectionprocessinordertoinvolvethedefectofentropythatitcannotfiltersim

4、ilarfea－tures.Anemulationismadetoprovethevalidityofthismethodattheend.Keywords：featureselection；overlap-entropy；erro-entropy；similarity；featureevalution；informationmeasurement摘要：将信息论中熵的概念应用到特征选择中，定义了两种信息测度评价特征———误差熵和混叠熵，然后阐述了两种定义的不用物理意义，分析了计算熵中最关键的区间划分问题，并提出一种较好

5、的区间划分方法。由于熵不能将相似的特征进行剔除，结合相似系数提出了一套完整的基于熵的特征选择过程，并通过仿真实验进行验证。关键词：特征选择；混叠熵；误差熵；相似度；特征评价；信息测度DOI：10.3778/j.issn.1002-8331.2009.15.016文章编号：1002－8331（2009）15-0054-04文献标识码：A中图分类号：TP3911引言来评价特征和目标属性间的紧密程度的互信息[10]，如基于信息理论中的Occam的剃刀准则提出的MDL评估标准[11]，但是这特征选择广泛应用在模式识别、图像处理

6、、数据挖掘、机器学习等领域内，在聚类或者分类、识别、挖掘之前进行有效的特些测度都没有将熵的基本物理意义解释清楚，给后续进行熵的征选择，剔除无关的、冗余的甚至错误的特征，能极大的提高应特征选择研究造成一定的误区。到目前为止，还没有发现相关用算法性能。目前特征选择的方法有很多种，如Relief法[1]，粗文献对熵在特征选择中的应用作出了全面的理解和介绍，一般糙集方法[2]，PFA方法[3]，序列搜索方法[4]，三步选择法[5]。文献[6]都没有清楚的将误差熵和混叠熵区分开来（后文中定义），实际将特征选择的方法分为穷举法、启

7、发法和随机法三类，文献[7]上这是两个物理意义不同的概念。将特征选择算法划分为filter、wrapper两类。这些方法不可避免的都需要选择一种测度对特征性能进行评价，而后再在其基础2熵的概念及相关定义上进行筛选和搜索，从而选择出具有基于这种测度的最优特征。熵是信息论中描述原始数据集携带信息量的度量，熵越大进行特征选择之前选择某个度量作为衡量特征的测度就不确定性越大，广义熵的定义为：显得尤为重要。信息论中有着广泛应用的熵的概念，是用来描C（α）1-α-1αH=（2-1）ΣΣpi-1Σ（1）述随机变量的信息含量的大小。如

8、果将熵的概念应用在特征选i=1择中，便能够帮助人们寻找到含有最多信息的特征，并成为一当α→1时，据洛必达法则可得到：种优良的全局测度。早在文献[6，8]中就提到了应用熵进行特征CH=Σpilogpi（2）选择，但是其介绍并不全面，没有完整的阐述出熵在特征选择i=1中所蕴含的物理意义，也没有给出具体的计算方法和实际操作这就是著名的S