BP神经网络训练算法改进初探【文献综述】

《BP神经网络训练算法改进初探【文献综述】》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、毕业论文文献综述电气工程及自动化BP神经网络改进算法综述摘要：神经网络近十年的飞速发展，激起了不同学科与领域的科学家的浓厚兴趣。神经网络因其自适应,自学习，并行处理等特点受到广泛的应用。但传统的BP算法存在诸如收敛速度慢，易陷入局部最小点以及编程困难，计算量大等问题，因此许多学者对其进行了改进。本文概述了BP神经网络的原理、特点；介绍了几种改进算法，及其在实际中的应用，对BP神经网络改进算法的发展趋势进行了展望；最后对MATALB中的BP改进算法函数进行了归纳介绍。关键词：BP神经网络;改进算法；1引言在人工神经网络发展历史中，很长一段时间里没有找到隐层的连接权值调整问题的有

2、效算法。直到误差反向传播算法（BP算法）的提出，成功地解决了求解非线性连续函数的多层前馈神经网络权重调整问题。由于具有结构简单、工作状态稳定、易于硬件实现等优点,在众多的神经网络模型中,周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。BP网络的应用最为广泛【1-5】,尤其是在模式识别及分类、系统仿真、故障智能诊断、图像处理、函数拟合、最优预测等方面。2BP神经网络简介2.1BP神经网络结构图1BP神经网络结构图2.2BP神经网络原理BP(BackPr

3、opagation)神经网络是一种神经网络学习算法，全称基于误差反向传播算法的人工神经网络[6]。BP(BackPropagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。BP网络是一种多层前馈神经网络，一般具有三层或三层以上的神经网络，包括输入层，中间层(隐层)和输出层。上下层之间实现全连接，而每层神经元之间无连接。当一对学习样本提供给网络后，神经元的激活值从输入层经各中间层向输出层传播，在输出层的各神经元获得网络的输入响应。接下来，按照减少目标输出与实际输出之间的误差的方向，从输出层反向经过各中间层回到输入层，从而

4、逐层修正各连接权值，这种算法称为“误差反向传播算法”，即BP算法。随着这种误差逆向的传播修正不断进行，网络对输入模式响应的正确率也不断上升。3BP算法研究现状由于传统的BP算法存在诸如收敛速度慢，易陷入局部最小点以及编程困难，计算量大等问题，因此许多学者对其进行了改进，提出了多种改进算法[7-13]。BP算法的改进主要有两种途径，一种是采用启发式学习方法，如附加动量法、自适应学习率法等;另一种是采用数字优化技术，vnegMrrt29如共扼梯度法、牛顿法、Levenberg-Marquardt法等。3.1附加动量法附加动量法使BP神经网络在修正其权值和值时，不仅考虑误差在梯度上

5、的作用，而且考虑在误差曲面上变化趋势的影响，它允许忽略网络上的微小变化特性。该方法是在反向传播法的基础上，在每一个权值和值的变化上加上一项正比于前次权值和阈值变化量的值，并根据反向传播法来产生新的权值和阈值的变化，带有附加动量因子的权值和阈值调节公式为:0<<1其中n为训练次数，a为动量因子，式中第二项是常规BP算法的修整量，第一项称为动量项。这种方法通过加入动量项，减小了学习过程的振荡趋势，从而改善了收敛性，找到更优的解。但是这种方法的缺点也是明显的，参数的选取只能通过实验来确定，而且它的学习速度还不能满足实时的工作需要。3.2．自适应调整学习速率法自适应调整学习速率有利于

6、缩短学习时间。标准BP算法收敛速度慢的重要原因是学习速率选择不当。学习速率选得太小，收敛太慢:学习速率选取得太大，则有可能修正过头，导致发散。因此出现了自适应调整学习率的改进算法，其调节准则是:检查权重的修正值是否真正降低了误差函数，如果确实如此，则说明所选取的学习速率值小了，可以对其增加一个量:若不是这样，而产生了过调，那么就应减小学习速率的值。3.3．共扼梯度算当使用共扼梯度向量来确定共扼方向时，称此算法为共扼梯度法。1990J.LeonardM.A.Kramer将共扼梯度法和行搜索策略结合在一起。在共扼梯度法中，沿着共扼方向进行行搜索，收敛速度将比一般的梯度下降法要快得

7、多。在一般的训练算法中，是利用学习速率决定权重和值更新的步长，而在多数共扼梯度算法中权值步长各自反复地调整，沿着共扼梯度用行搜索来决定权值步长以减少在行中的完成功能。共扼梯度法可以不必计算或存储二阶导数信息就具有二阶方法的功能，它与拟牛顿法相比，它的计算代价很低，因此在较大规模问题中十分有用。3.4其他改进算法还有一些改进方法：拟牛顿算法和Levenberg-Marquardt算法。MATLAB语言的BP神经网络的不同改进算法的评论，有助于了解BP网络改进的算法及其优缺点，从而达到正确，合理，充分应用不