一种特征选择的信息论算法new

《一种特征选择的信息论算法new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、维普资讯http://www.cqvip.com2005年5月内蒙古大学学报(自然科学版)May2005第36卷第3期ActaScientiarumNaturaliumUniversitatisNeiMongolVo1．36No．3文章编号：10OO一1638(2005)03—0341—05一种特征选择的信息论算法。杨打生。，郭延芬(1．东南大学无线电工程系，南京210096；2．内蒙古电子信息职业技术学院，呼和浩特Ol001O)摘要：特征选择在模式识别技术中起着非常重要的作用，用信息论的方法进行特征选择还是一个新课题．MIF

2、S和MIFS—U是两种用信息论方法进行特征选择的近似算法，MIFS和MIFS—U算法都有一个考虑输入特征之间信息冗余的权重系数，MIFS—U算法还有一个条件限制．当条件不满足或权重系数取值不合适时，这两种算法的特征选择性能就会下降．通过研究这两种算法，借助互信息的概念提出一种新的信息论特征选择算法——MIFS—D．和MIFS、MIFS—U算法相比，MIFS—D是一种更精确的算法，去掉了限制条件和权重系数．将3种算法应用于几个分类问题，结果表明MIFS—D算法具有相对更好的特征选择性能．关键词：模式识别；特征选择；互信息中图分类

3、号：TP391．4文献标识码：A特征选择信息论算法回顾1．1特征选择模型。特征选择问题可以描述为这样一个模型：设原有特征空间为FR，包含有个特征，c为分类类别，现需要从FR中选择k个对分类最有效的特征，形成一个新的特征空间，要求k

4、反映了在已经选定了特征空间中增加特征后形成的特征空间与输出类别c之间的互信息，该值反映了在已有特征空间下，特征对分类的重要程度．如果为中的一个特征，(c；F，F)表示输入特征、F联合与输出类别c的互信息，互信息、信息熵之间的关系如图2，I(C；F，F)对应于图2中区域：、。、之和．这一算法的关键在于计算I(C；F，S)，目前计算(c；F，S)6-两种算法．1．2MIFS算法。MIFS算法以：I(C；F)一：I(F；F)代替I(C；F，S)，的大小反映了在进行特征选择时对输入特征之间冗余度的权重．若=0，在进行特征选择时不考虑输

5、入特征之间的冗余度．随的增大，特征选择更多地考虑输入特征之间的冗余；当一1时，I(c；Fi)一(F；F)对应于图2中的区域(。一)，如果特征和已选特征紧密相关，即区域大，该不会被选中，在一些非线性分类问题(如例1)中，会降低分类器的性能，限制了MIFS算法的应用．1．3MIFS—U算法。MIFS算法的改进算法——MIFS—U算法．如果满足：·收稿日期：2004—12-14作者简介：杨打生(1966～)，男，内蒙古卓资县人，讲师，2002级硕士研究生维普资讯http://www.cqvip.com342内蒙古大学学报(自然科学版

6、)2005正H(F，)H(F，lC)(1)丽一丽则可以用(c；)一∑／'sos妄舁(；F)替代(c；，)··在MIFS—U算法中，关键是条件(1)成立．否则，这种算法的选择性能就会下降．，(；F)H()，(C；H(C)图1Greedyselection流程图图2互信息、信息熵的关系示意图Fig．1IdealgreedyselectionalgorithmFig．2Therelationbetweenmutualinformationandentropy2一种新的信息论算法如图2，为了计算区域、。、之和，可以先计算区域s．区域s

7、可以表示为：H(C，F，F，)一H(F，F)．因而：I(C；F，F，)一日(C)一{H(C，，F，)一日(，F1))．(2)H(C，F，F，)为C，F。，F，的联合信息熵，其定义为H(C，F，F，)一一∑∑∑p(xc)logp(xc)∞(3)对于C只有c。和c两类的情况(所有的分类问题都会转化为两类分类问题，因而这种假设是合理的)按照定义，将其展开得：H(C，F。，F，)一委n五log五荟委户(五"z)10g¨五础一一∑∑p(x，Ix一)户(一Xc1)log(p(x，—Xc1)户(c—Xc1))xC，fjc，I．一∑∑p(x，

8、Ix一X~2)户(一Xc2)log(户(％，Ixc—Xc2)户(c—Xc2))xicfixJcJ一一p(x一Xc1)∑∑p(x。，ll‘一Xc1)log(户(“，Ix一Xc1)户(c—Xc1))xiCfix，c，一p(x一Xc2)∑∑p(x‘一Xc2)log(户(，Ix一~．