一种改进的BP神经网络属性选择方法

《一种改进的BP神经网络属性选择方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第２６卷第７期计算机应用研究Ｖｏｌ．２６Ｎｏ．７２００９年７月ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓＪｕｌ．２００９一种改进的BP神经网络属性选择方法顿煜卿，陈利，陈强，刘灵敏（华中师范大学计算机科学系，武汉４３００７９）摘要：提出一种改进的神经网络属性选择方法。该方法用敏感度分析法对初始属性集中的属性进行排序，剔除次要属性实现降维，用ＢＰ神经网络进行属性选择以找到最小属性集。仿真结果表明该方法效果良好。关键词：属性选择；ＢＰ神经网络；属性排序；敏感度分析；改进的ＢＰ神经网络属性选择方法中图分类号：ＴＰ１８３　　　文献标志码

2、：Ａ文章编号：１００１唱３６９５（２００９）０７唱２６５９唱０２ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１唱３６９５．２００９．０７．０７２ＩｍｐｒｏｖｅｄＢＰｎｅｕｒａｌｎｅｔｗｏｒｋｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎｍｅｔｈｏｄＤＵＮＹｕ唱ｑｉｎｇ，ＣＨＥＮＬｉ，ＣＨＥＮＱｉａｎｇ，ＬＩＵＬｉｎｇ唱ｍｉｎ（Dept．ofComputerScience，HuazhongNormalUniversity，Wuhan４３００７９，China）Abstract：Ｔｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｅｄａｎｉｍｐｒｏｖｅｄｎｅｕｒａｌｎｅｔｗｏｒｋｆｅａ

3、ｔｕｒｅｓｓｅｌｅｃｔｉｏｎｍｅｔｈｏｄ．Ｉｔｒａｎｋｅｄｔｈｅｉｎｉｔｉａｌｆｅａｔｕｒｅｓｓｅｔｂｙｕｓｉｎｇｔｈｅｍｅｔｈｏｄｏｆｓｅｎｓｉｔｉｖｉｔｙａｎａｌｙｓｉｓ，ａｎｄｔｈｅｎｒｅｍｏｖｅｄｔｈｅｓｅｃｏｎｄａｒｙｆｅａｔｕｒｅｓｔｏａｃｈｉｅｖｅｄｉｍｅｎｓｉｏｎｒｅｄｕｃｔｉｏｎ．ＳｅｌｅｃｔｅｄｔｈｅｍｉｎｉｍｕｍｓｅｔｏｆｆｅａｔｕｒｅｓｂｙｔｈｅＢＰｎｅｕｒａｌｎｅｔｗｏｒｋａｔｌａｓｔ．Ｔｈｅｓｉｍｕｌａｔｉｏｎｒｅｓｕｌｔｓｓｈｏｗｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｔｈｉｓａｐｐｒｏａｃｈ．Keywords：ｆｅａｔｕｒｅ

4、ｓｅｌｅｃｔｉｏｎ；ＢＰｎｅｕｒａｌｎｅｔｗｏｒｋ；ｆｅａｔｕｒｅｒａｎｋｉｎｇ；ｓｅｎｓｉｔｉｖｉｔｙａｎａｌｙｓｉｓ（ＳＡ）；ＩＢＮＭ属性选择（ＦＳ）是数据挖掘过程中的一个预处理步骤，该的可行性和高效性。过程从一个大的候选属性集合中删除不相关和（或）冗余的属［１］1IBNM性，选择一个较好的、有代表性的属性子集。用最少的属性达到最好的分类效果以及提高属性的相关度是属性选择追求本文提出的ＩＢＮＭ结合了敏感度分析法的高效率和ＢＰ神的目标。在统计学、模式识别、机器学习和数据挖掘等领域，属经网络（ＢＰ唱ＮＮ）方法的高精度，从而使神经网络的属性选择效性

5、选择已成为一个研究的热点。率大大提高。具体方法如图１所示。目前属性选择问题的处理方法，按照它们与数据挖掘算法$%调整.+!**各项参数［２］［２］原&%之间的关系可以分为ｆｉｌｔｅｒ方法和ｗｒａｐｐｅｒ方法。Ｆｉｌｔｅｒ方始训练集()!**!期望输出#"法根据一定的评价标准（如表现属性重要性质的方差、熵等参数验证集据集'%数或属性与类别之间的互信息）从给定的属性集中选出代表预测集调整完毕的(+!**实际输出23性强的属性子集。该方法具有属性选择效率高的优点，但对噪,-!"［３］声敏感。Ｗｒａｐｐｅｒ方法中，把相应的学习算法看做属性选择图/0.*1

6、示意图的一部分。该方法具有生成规则分类精度高的优点，但属性选ａ）将原始数据集进行数据预处理。预处理的第一步是处择效率不高，如神经网络方法。理噪声数据，对于缺失属性的数据，采用直接忽略样本的方法本文采用了ｗｒａｐｐｅｒ方法中的ＢＰ神经网络方法进行属性处理。预处理的第二步是对数据进行规范化处理，将属性数据选择。为解决其属性选择效率不高的问题，首先对属性进行了按比例缩放，使之落在较小的指定区间，如［－１．０，０］或［０，排序。目前的属性排序方法有很多，如基于信息熵的共同信息１畅０］。消除由于量纲不一致和数值大小相差很大所带来的误［４］［５］［６］法（Ｍ

7、Ｉ）、分离联系法（ＳＣＭ）、敏感度分析法（ＳＡ）。然差，确保每个初始输入变量的值都具有相同的重要性。该过程而基于信息熵的共同信息法需要计算密度函数，并不适用于计能有效地改善训练过程的表现。规范化处理的方法有很多，算连续数值，常用于决策树的应用中。分离联系法需要计算属ｍｉｎ唱ｍａｘ规范化方法能有效地保持原始数据值之间的联系，在性的分离性，虽然适合于连续型和离散型的数值，但计算复杂，处理大批数据时简单方便。本文采用了ｍｉｎ唱ｍａｘ规范化方法。而且分离联系法没有考虑输入变量与输出变量的关系，用于属假定ｍｉｎA和ｍａｘA分别为属性A的最小和最大值。ｍｉｎ

8、唱［７］性排序比较牵强。而敏感度分析法不仅考虑了输入变量与ｍａｘ规范化计算式为输出变量之间的这种相互影响，计算也相对比较简单。因此，（v