基于互信息粒度的相对约简的矩阵计算方法①

《基于互信息粒度的相对约简的矩阵计算方法①》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、第39卷第3期西南师范大学学报(自然科学版)2014年3月Vol.39No.3JournalofSouthwestChinaNormalUniversity(NaturalScienceEdition)Mar.2014文章编号:10005471(2014)3006005基于互信息粒度的相对约简的矩阵计算方法①项海飞温州职业技术学院,浙江温州325035摘要:提出了一种基于互信息粒度的相对约简模型,该模型利用互信息度量决策系统中的条件属性,将互信息对属性的度量映射到布尔矩阵,并能得到完备的相对约简结果;同时给出了基于布尔矩阵属性重要度的度量方法

2、,在此基础上,设计了一种相对约简启发式计算方法,最后通过实验验证了方法的有效性.关键词:互信息;布尔矩阵;相对约简;粗糙集;粒度计算中图分类号:TP18文献标志码:A[1-2]粗糙集理论是波兰数学家Pawlak提出的一种有效处理不确定性、不完备性数据的数学工具.该理[3-5]论已在信息计算、知识发现、机器学习和数据挖掘等领域中得到了广泛使用.粗糙集理论的属性约简作为一种重要的智能信息处理方法,得到了许多研究人员的关注,并提出了针对不同模型的属性约简方[6-8]法.基于互信息的属性约简(也称特征选择)是粗糙集的重要研究内容之一,研究人员从信息论

3、的视角,分别提出了基于信息熵、条件信息熵、组合熵、互信息增益的属性约简方法.他们从信息论视角给出了属性重要性的度量,对不确定性信息提供了有效的计算理论.近年来,研究人员提出了许多基于互信息粒度的属性约简方法:文献[9]利用互信息增益率作为条件属性的重要性度量来候选属性,构造了一种属性约简方法,但该方法未充分考虑属性之间的相互依赖关系;文献[10]利用互信息度量构造了模糊粗糙分类方法,将模糊隶属度引入了互信息中,并用于基因数据的特征选择,但模糊隶属度的确定有待进一步研究;文献[11]在序决策信息系统中利用互信息度量方法设计了一种属性约简方法,该

4、方法考虑对象之间的序关系.然而如何利用互信息粒度构造决策系统的布尔矩阵却较少得到关注.在实际应用中,由于决策系统中每一个条件属性相对于决策属性的重要性是不相同的,在决策系统下研究互信息粒度的相对约简具有重要的意义.为此本文在决策系统的背景下提出了一种基于互信息粒度的相对约简模型,该模型利用互信息粒度度量决策系统的条件属性,同时将互信息对属性的度量映射到布尔矩阵中,论证了基于互信息粒度的相对约简与基于布尔矩阵的相对约简是一致的,且计算过程更加直观,并给出了基于布尔矩阵的属性重要度的度量方法,在此基础上,设计了一种相对约简启发式计算方法,通过实验

5、比较对计算方法进行了验证,实验结果表明该方法能有效地对决策系统进行约简.1相关概念[1]定义1粗糙集理论中定义四元组S=(U,A,V,f)为信息系统,其中:U={x1,x2,…,xn}表示信息系统中的对象集,称为论域.A={a1,a2,…,am}表示信息系统中的属性集.①收稿日期:20131006基金项目:浙江省自然科学基金资助项目(LY13F020024).作者简介:项海飞(1980),女,浙江乐清人,硕士,讲师,主要从事计算智能与粗糙集理论方面的研究.2西南师范大学学报(自然科学版)http://xbbjb.swu.cn第39卷V=∪Va

6、,Va是信息系统中每个属性a的值域.a∈C∪Df:U×A→V是一个信息函数,给信息系统中的每个对象的每个属性赋值.[1]定义2四元组S=(U,A,V,f)为信息系统,若A=C∪D,C∩D=ϕ,C表示条件属性集,D表示决策属性集,则称该信息系统为决策信息系统,简称为决策系统;对于任意属性子集Q⊆(C∪D)可得到一个不可区分关系(等价关系)IND(Q):IND(Q)={(x,y)∈U×U

7、∀q∈Q,f(x,q)=f(y,q)}定义3S=(U,C,D,V,f)为决策系统,在决策系统S中任意属性子集Q⊆C∪D,U/IND(Q)={X,X,…,X},不

8、可区分关系U/IND(Q)在决策系统S的概率分布的计算方法如下:12véX1X2…Xvù[X:p]=êúê)úëp(X1)p(X2)…p(Xvû

9、Xi

10、其中:p(Xi)=;i=1,2,…,v.

11、U

12、定义4S=(U,C,D,V,f)为决策系统,在决策系统S中任意属性子集Q⊆C,U/IND(Q)={X1,X2,…,Xv},通过U/IND(Q)的概率分布,条件属性子集Q的自信息量的计算方法如下:vH(Q)=-∑p(Xi)logp(Xi)i=1定义5S=(U,C,D,V,f)为决策系统,在决策系统S中任意属性子集Q⊆C,U/IND(Q)={X1,X2

13、,…,Xv},且U/IND(D)={Y1,Y2,…,Yw},条件属性子集Q相对于决策属性D的条件信息熵的计算方法如下:vwH(D

14、Q)=-∑p(Xi)∑p(Yj

15、X