BP神经网络及其在数据分类中的应用

《BP神经网络及其在数据分类中的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据开发应用BP神经网络及其在数据分类中的应用李穗丰1陈燕清2(1．广东财经职业学院，广东广州510420；2．广东省电信有限公司研究院，广东广州510630)[摘要]BP神经网络模型是一种典型的前向型神经网络，具有良好的自学习、自适应、联想记忆、并行处理和非线形转换的能力，是目前应用最为广泛的一种神经网络模型。本文介绍了BP神经网络的实现以及其在数据挖掘分类方面的应用。[关键词]人工神经网络；BP神经网络；数据分类1．引言人工神经网络是由大量简单的基本元件——神经元相互联结，模拟人的大脑神经处理信息的方式，进行信息并行处理和非线形转换的复杂网络系统。人工神经

2、网络处理信息是通过信息样本对神经网络的训练，它反映了人脑功能的许多基本特性，但它并不是人脑全部的真实写照，而只是对其作某种简化、抽象和模拟，使其具有人的大脑的记忆、辨识能力，完成各种信息处理功能。具有良好的自学习、自适应、联想记忆、并行处理和非线形转换的能力。几十年来，随着在此领域研究的不断深人，人工神经网络已经成功地应用于众多领域，如数据挖掘、模式识别、图象处理、智能控制、虚拟现实、优化计算等。迄今为止，人们已提出30多种较为成功的人工神经网络模型。这些模型大致可以分为三类：前向网络MLP(MultipleLayerPerception)，反馈网络(Hopfie

3、ld网络、Bolzman机)和自组织神经网络(ART，CPN)‘1

4、。2．BP神经网络分析2．1BP算法BP神经网络模型是典型的多层前向网络，分为输入层、隐含层和输出层，层与层之间采用全互连方式，层内神经元之间无连接，其模型结构如图1所示。输入量xi输出量Y输入层图1BP网络结构图输出层BP算法通过迭代地处理一组训练样本，将各样本的网络预测与实际已知类标号比较来进行学习。对于各样本反向修改其权值，使得网作者简介：李穗丰，男，江西大余人，理曾学士，、广东财经职业学院信息管理系助教，研究方向：人工智能，多媒体。一13—万方数据开发应用络预测与实际类之间的误差平方最小。

5、BP算法按照最优训练准则反复迭代，确定并不断调整神经网络结构，通过迭代修改，当权值收敛时学习过程终止拉J。其网络模型的实现过程是由两部分组成：信息的正向传递与误差的反向传播。在正向传播过程中，输入信息从输入经隐含层逐层计算传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层没有得到期望的输出，则计算输出层的误差变化值，然后转向反向传播，通过网络将误差信号沿原来的连接通路反传回来修改各层神经元的权值直至达到期望目标。由图1，假设输人层输入神经元为(xl，x2，⋯xn)隐层神经元为(z1，z2，⋯zn)，输出层输出神经元(Y1，Y2，⋯Yn)设w为输入

6、层与隐层的权值，B为隐层与输出层的连接权值。这样则：F(x1，)(2，⋯xn)=(Y1，Y2，⋯Yn)(1)Yk=g(∑刎)(2)，=l乃=八∑觑∥+巧)(3)其中f和g通常选择109istic函数：1八戈)=_二i(4)l十e在训练过程开始前，所有的权值将被初始化为一个随机的较小值。在网络的训练过程中，选择输入向量，网络前传时，依次计算各层单元的输出和最外层单元的输出，计算网络输出和期望输出的误差，先调整输出层与第二层的权值，再调整第二层与输入层的误差，以降低误差值，重复这一过程直到对于每一个输入都能得到一个较小的误差。假设隐层j的神经元p和输出层k的神经元q，

7、则误差由下式给出：6=o睾(1一o)崇(f—o)(5)其中。为k层的神经元输出，t为k层的期望输出。由此得到各层的权值迭代式：△伽=叼睾69^鬻。阿(6)加Pq路(凡+1)=伽阳腩(n)+△埘(7)一14一卵为训练系数，其取值范围为0．1到1．0，埘(n)是神经元p到神经元q在时刻n的连接权值，6以是输出层神经元q的误差，o研是隐层j神经元p的输出。为了获得满意的网络输出，BP算法通过回传输出的误差，调节各层间的权值。公式(6)和(7)适用于包括输入层和隐层，隐层和输出层的各层。但对于输人层和隐层，由于期望输出t并不存在，当求取误差6时，它的值不能由公式(5)直接

8、得到，而是由下面的表达式代替：6=o何素(1一。面)崇(∑6。。泰伽胛址)(8)3．使用BP神经网络进行数据分类3．1使用BP神经网络进行数据分类的过程使用BP神经网络进行数据分类，是采用BP算法将训练样本的各属性值作为输入，把实际类作为输出。对训练后的BP网络，通过剪枝和对链、神经元或活跃值的聚类处理，导出输入层和输出层的关联规则，根据这些规则即可实现具体数据的分类旧J。其主要过程如下图2所示：开始将样本集分为训练和校验两个样本集合选择神经网络的结构规模并确定初始权值和偏差用训练集对网络进行训练，使其输入和输出满足误差范围，校验集进行校芝—二≥—一＼．—／满足给

9、定误差范用