bp神经网络学习算法的研究

《bp神经网络学习算法的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、.BP神经网络学习算法的研究刘彩红资助项目：西安工业大学北方信息工程学院院长科研基金项目（BXXJJ-1112）作者简介：刘彩红(1980-)，女，陕西人，硕士研究生，研究方向为人工神经网络及其应用。Email:rainbow_dd@sohu.com手机：13609250662；(西安工业大学北方信息工程学院，西安)摘要：（目的）本文针对BP算法收敛速度慢的问题，提出一种改进的BP算法。（方法）该算法结合生物神经元学习与记忆形成的特点，针对特定的训练样本，只激发网络中的部分神经元以产生相应的输出，而未被激发的神经元产生的输出则与

2、目标输出相差较大，那么我们只需要对未被激发的神经元权值阈值进行调整。利用距离来度量训练样本与神经元权值之间的关系，可以找到未被激发的神经元。所以本论文提出的算法是对局部神经元权值阈值的调整，（结果）通过实验表明该算法有助于加快网络的学习速度。关键词：BP神经网络，学习算法，距离，权值阈值调整TheStudyofAlgorithmofBPNeuralNetworkLIUCai-hong(Xi’anTechnologicalUniversityNorthInstituteofInformationEngineering，Xi’anC

3、hina)Abstract:ThepaperproposedanimprovedBPalgorithm.Accordingtothecharacteristicsofbiologicalneuroninlearningandmemoryformation,onlysomeneuronswerestimulatedtoproducetheoutputforthespecifictrainingsamples,whiletheotherpartoftheneuronsweren’tstimulated.Therearelargedi

4、fferencebetweenthispartoftheneuron’soutputandtarget,andthenweneedthispartneuronsweightandthresholdvaluetoadjust.Usetomeasurethedistancefromthetrainingsampleandtherelationshipbetweentheweightsofeachneuron,canfindnotstimulatedneurons.Thereforethealgorithmproposedinthis

5、paperonlyadjusttheweightandthethresholdvalueofthelocalneurons,andthiscanacceleratethelearningspeedofthenetwork.Keywords:BPNeuralNetwork,LearningAlgorithm,,Distance,WeightandThresholdAdjustment1引言传统BP算法是一种利用实际输出与期望输出之间的误差对网络的各层连接权值和各结点的阈值由后向前逐层进行校正的一种监督式学习方法。它根据最小二乘原理

6、和梯度搜索技术，将学习过程分为输入样本的正向传播和误差的反向传播两个阶段。输入样本从输入层传递给隐藏层各结点，经过各隐藏层用激励函数逐层处理后传递给输出层，若输出层的实际输出与期望输出的误差达不到预定要求，则将误差沿着原连接通路反向传播，同时根据误差来调整各层的连接权值和阈值，使实际输出与期望输出的误差逐渐减小。传统BP（BackPropagation）算法的性能依赖于初始条件，学习速度慢，学习过程易陷入局部极小。近年来，人们根据实际应用的需要对传统BP算法做了许多改进，主要有采用自适应学习率、与遗传算法结合[1-2]和可调隐层

7、结构[3-4]等，这些方法在一定程度上优化了BP算法。但以往大多改进算法，在误差的反向传播阶段也就是训练的第二阶段，是对所有神经元的权值阈值都进行修改的。针对不同的输入，神经网络激发不同的神经元，所以可以在训练的第二阶段修改部分神经元的权值阈值。但本文...对此的研究目前仅限于只有一个隐层的BP神经网络。2基于局部权值阈值调整算法的改进思想神经网络学习的过程，实际上是根据一定的学习算法调节网络中各连接权值的过程。这是因为，神经网络是通过神经元之间的连接，来存储信息或知识的[6]。也就是说，神经网络学习得到的知识是存储在连接权上的

8、。并且依据生物神经元学习与记忆形成的特点[5]，针对特定的训练样本，只激发网络中的部分神经元以产生相应的输出，而未被激发的神经元产生的输出则与目标输出相差较大，那么我们就需要对未被激发的神经元的权值阈值进行调整。对于一个神经元是否被激发，可以通过训练样本和该神经