基于互信息的无监督特征选择

《基于互信息的无监督特征选择》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、计算机研究与发展ＩＳＳＮ１０００－１２３９?ＣＮ１１－１７７７?ＴＰＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＲｅｓｅａｒｃｈａｎｄＤｅｖｅｌｏｐｍｅｎｔ４９（２）：３７２－３８２，２０１２基于互信息的无监督特征选择徐峻岭１，２周毓明２，３陈林２，３徐宝文２，３１（东南大学计算机科学与工程学院南京２１００９６）２（计算机软件新技术国家重点实验室（南京大学）南京２１００９３）３（南京大学计算机科学与技术系南京２１００９３）（ｊｕｎｌｉｎｇｘｕ＠ｇｍａｉｌ．ｃｏｍ）ＡｎＵｎｓｕｐｅｒｖｉｓｅｄＦｅａｔｕｒｅＳｅｌｅｃｔｉｏｎＡｐｐｒｏａｃｈＢａｓｅｄｏｎＭｕｔｕａｌＩｎｆｏ

2、ｒｍａｔｉｏｎ１，２，ＺｈｏｕＹｕｍｉｎｇ２，３，ＣｈｅｎＬｉｎ２，３，ａｎｄＸｕＢａｏｗｅｎ２，３ＸｕＪｕｎｌｉｎｇ１（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＳｏｕｔｈｅａｓｔＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１００９６）２（ＳｔａｔｅＫｅｙＬａｂｏｒａｔｏｒｙｆｏｒＮｏｖｅｌＳｏｆｔｗａｒｅＴｅｃｈｎｏｌｏｇｙ（ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙ），Ｎａｎｊｉｎｇ２１００９３）３（ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１０

3、０９３）ＡｂｓｔｒａｃｔＩｎｄａｔａａｎａｌｙｓｉｓ，ｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎｃａｎｂｅｕｓｅｄｔｏｒｅｄｕｃｅｔｈｅｒｅｄｕｎｄａｎｃｙｏｆｆｅａｔｕｒｅｓ，ｉｍｐｒｏｖｅｔｈｅｃｏｍｐｒｅｈｅｎｓｉｂｉｌｉｔｙｏｆｍｏｄｅｌｓ，ａｎｄｉｄｅｎｔｉｆｙｔｈｅｈｉｄｄｅｎｓｔｒｕｃｔｕｒｅｓｉｎｈｉｇｈ－ｄｉｍｅｎｓｉｏｎａｌｄａｔａ．Ｉｎｔｈｉｓｐａｐｅｒ，ｗｅｐｒｏｐｏｓｅａｎｏｖｅｌｕｎｓｕｐｅｒｖｉｓｅｄｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎａｐｐｒｏａｃｈｂａｓｅｄｏｎｍｕｔｕａｌｉｎｆｏｒｍａｔｉｏｎｃａｌｌｅｄＵＦＳ－ＭＩ．ＩｎＵＦＳ－ＭＩ，ｗｅ

4、ｕｓｅａｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎｃｒｉｔｅｒｉｏｎ，ＵｍＲＭＲ，ｔｏｅｖａｌｕａｔｅｔｈｅｉｍｐｏｒｔａｎｃｅｏｆｅａｃｈｆｅａｔｕｒｅ，ｗｈｉｃｈｔａｋｅｓｉｎｔｏａｃｃｏｕｎｔｂｏｔｈｒｅｌｅｖａｎｃｅａｎｄｒｅｄｕｎｄａｎｃｙ．Ｔｈｅｒｅｌｅｖａｎｃｅａｎｄｒｅｄｕｎｄａｎｃｙｒｅｓｐｅｃｔｉｖｅｌｙｕｓｅｍｕｔｕａｌｉｎｆｏｒｍａｔｉｏｎｔｏｍｅａｓｕｒｅｔｈｅｄｅｐｅｎｄｅｎｃｅｏｆｆｅａｔｕｒｅｓｏｎｔｈｅｌａｔｅｎｔｃｌａｓｓａｎｄｔｈｅｄｅｐｅｎｄｅｎｃｅｂｅｔｗｅｅｎｆｅａｔｕｒｅｓ．Ｉｎｔｈｅｎｅｗａｌｇｏｒｉｔｈｍ，ｆｅａｔｕｒｅｓ

5、ａｒｅｓｅｌｅｃｔｅｄｏｒｒａｎｋｅｄｉｎａｓｔｅｐｗｉｓｅｗａｙ，ｏｎｅａｔａｔｉｍｅ，ｂｙｅｓｔｉｍａｔｉｎｇｔｈｅｃａｐａｂｉｌｉｔｙｏｆｅａｃｈｓｐｅｃｉｆｉｅｄｃａｎｄｉｄａｔｅｆｅａｔｕｒｅｔｏｄｅｃｒｅａｓｅｔｈｅｕｎｃｅｒｔａｉｎｔｙｏｆｏｔｈｅｒｆｅａｔｕｒｅｓ（ｉ．ｅ．ｔｈｅｃａｐａｂｉｌｉｔｙｏｆｒｅｔａｉｎｉｎｇｔｈｅｉｎｆｏｒｍａｔｉｏｎｃｏｎｔａｉｎｅｄｉｎｏｔｈｅｒｆｅａｔｕｒｅｓ）．ＴｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆＵＦＳ－ＭＩｉｓｃｏｎｆｉｒｍｅｄｂｙｔｈｅｔｈｅｏｒｅｔｉｃａｌｐｒｏｏｆｗｈｉｃｈｓｈｏｗｓｉｔｃａｎｓｅｌｅ

6、ｃｔｆｅａｔｕｒｅｓｈｉｇｈｌｙｃｏｒｒｅｌａｔｅｄｗｉｔｈｔｈｅｌａｔｅｎｔｃｌａｓｓ．ＡｎｅｍｐｉｒｉｃａｌｃｏｍｐａｒｉｓｏｎｂｅｔｗｅｅｎＵＦＳ－ＭＩａｎｄｓｅｖｅｒａｌｔｒａｄｉｔｉｏｎａｌｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎｍｅｔｈｏｄｓａｒｅａｌｓｏｃｏｎｄｕｃｔｅｄｏｎｓｏｍｅｐｏｐｕｌａｒｄａｔａｓｅｔｓａｎｄｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔＵＦＳ－ＭＩｃａｎａｔｔａｉｎｂｅｔｔｅｒｏｒｃｏｍｐａｒａｂｌｅｐｅｒｆｏｒｍａｎｃｅａｎｄｉｔｉｓａｐｐｌｉｃａｂｌｅｔｏｂｏｔｈｎｕｍｅｒｉｃａｌａｎｄｎｏｎ－ｎｕｍｅｒｉｃａｌｆｅａｔｕｒｅｓ．Ｋｅ

7、ｙｗｏｒｄｓｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎ；ｕｎｓｕｐｅｒｖｉｓｅｄｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎ；ｍｕｔｕａｌｉｎｆｏｒｍａｔｉｏｎ；ｍｉｎｉｍｕｍｒｅｄｕｎｄａｎｃｙａｎｄｍａｘｉｍｕｍｒｅｌｅｖａｎｃｅ；ｕｎｓｕｐｅｒｖｉｓｅｄｍｉｎｉｍｕｍｒｅｄｕｎｄａｎｃｙａｎｄｍａｘｉｍｕｍｒｅｌｅｖａｎｃｅ摘要在数据分析中，特征选择可以用来降低特征的冗余，提高分析结果的可理解性和发现高维数据中隐藏的结构．提出了一种基于互信息的无监督的特征选择方法（ＵＦＳ－ＭＩ），在ＵＦＳ－ＭＩ中，使用了一种综合考虑了相关度和冗余度的特征选择标准ＵｍＲＭＲ（无监督最小冗余最大相

8、关）来评价特征的重要性．