集成粗集神经网络的数据挖掘研究

《集成粗集神经网络的数据挖掘研究》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、http://www.paper.edu.cn集成粗集神经网络的数据挖掘研究韦伟安庆师范学院教育学院，（246011）Email:weiab474@sina.com摘要：集成粗集理论和神经网络技术进行数据挖掘是当前研究的一个重要分支。其集成方式主要有4种：利用约简减少网络输入节点、利用约简规则集构建网络、利用上下近似构建粗神经元以及利用约简简化网络隐层节点。论文分析了各自原理和优缺点，并指出进一步研究应注意的问题。关键字：粗集神经网络集成数据挖掘1.引言随着信息技术的快速发展，人们面对的数据越来越多。如何从大规模海量数据中提取隐含的、未知的、非平凡的及有潜在应用价值的信息或

2、模式[1]，日益成为人们关心的问题，而这也正是数据挖掘（DM）研究的主要目的。粗集理论和神经网络技术是目前DM研究热点之一，涉及市场分析、金融投资、医疗卫生、图像处理、质量管理、工业控制、故障诊断等多个领域[2]。粗集理论直接模拟人类抽象逻辑思维能力，利用不可分辨关系、上下近似、约简等概念进行数据约简、发现数据模式和提取规则，但其只能进行定性分析，且抗噪声性能差，推广能力弱，因此常常与其它软计算方法结合使用。神经网络是对人类直观形象思维的模拟。通过定量信息的处理学习获得相关领域的知识，具有较强的鲁棒性和容错能力。所以，粗集理论和神经网络有很大的互补性，可以将二者结合起来构建

3、粗神经网络进行数据挖掘。目前的方式主要有4种：利用约简减少网络输入节点、利用约简规则集构建网络、利用上下近似构建粗神经元以及利用约简简化网络隐含层节点。2.集成粗集神经网络的数据挖掘2.1利用约简减少网络输入节点这是最常见的结合方式，主要是利用粗集理论预处理神经网络训练集，对训练集进行属性约简，去除冗余信息，以简化输入信息的表达空间，从而减小网络训练时间，提高容错和抗干扰的能力[3-11]。文献4显示应用这种模型，使训练速度提高了4.72倍，而网络分类误差————————————————本课题得到安徽省高等学校青年教师科研资助计划（2005jq1118）资助1http://

4、www.paper.edu.cn增加不到11.06%。文献5利用约简剔除小波分析提取的冗余特征，从而确定神经网络的初始拓扑结构，实验结果表明该方法对车轮踏面擦伤有良好的预示诊断性能。单个最小约简只能从某个侧面反映所分析的样本集，无法完全覆盖整个必需的属性集。文献6以最小约简的并集作为网络的输入，同时将核属性与对应输出节点直接连接。如在三层BP网络中，x，…，x为输入节点，h，…，h为隐含层节点，y，…，y为输出1k1m1n节点。对决策属性y核为{x,x}，则其可直接连接形成完整的神经网络（如图1）。实验表112明这种优化的神经网络比未经优化的神经网络模型学习效率高。问题在于

5、最小约简的并集可能又是整个属性集；核属性与输出节点直连使得网络复杂化。图1利用属性约简的粗神经网络模型图图2利用规则集构建神经网络1.2利用规则集构建神经网络根据粗集分析决策表的初始规则集可以确定神经网络的结构[12-16]，一般采用三层网络（如图2）。网络中，输入节点是条件属性集合，隐含层每个节点代表一条规则，即由粗集理论得到的最小规则数为，则隐含层节点数为。隐层每个节点与输入节点的连接表示mm规则前件。规则是不完全的，相应的神经网络是权值不完全连接的网络。所以网络结构相对简单，训练速度快。隐含层节点与输出节点的连接表示规则的后件。隐含层节点实现对输入值的极小化运算，得出

6、输入层的向量X与规则的相容度，输出值为：αmin((j=1,2,...,m)j=x,x,...,x)12n输出层每个节点的计算可用下式：∑y=ωαijj其中，i=1,2,...,n，j为与该节点相连的隐含层的节点号，ω取决于选取哪种合成算j法[12]。初始规则集向网络映射时，较多规则会导致网络结构的复杂化。所以，文献17基于网络权值对规则进行简化，权值为零或很接近于零的规则视为无效规则而被去除；保留具有同一前件的所有规则中权值最大的规则，其余规则去除。也可以根据信息熵方法[18]，选择“足够好”的规则构建神经网络，而不是利用所有规则。2http://www.paper.ed

7、u.cn1.3利用上下近似构建粗神经元传统神经网络只能进行单值输入，而某些情况下输入并非单值，而是两个值或者一个范围，究竟应该取哪个值作为输入就难以确定。粗集理论的上下近似概念可以很好地解决这个问题。把一个神经元分成上下两层分别代表粗糙集合的上下近似，组成一个粗神经元，继而组成整个粗神经网络[19-23]。每个神经元在神经网络中可看作一对神经元，其结构如图3。图3显示了两个粗神经元的4种基本连接，它们共有15种连接组合。图3粗神经元的基本连接粗神经元j的输入计算如下[19]：Input=∑ω×+ω×j()UOutp