BP神经网络训练算法改进初探【文献综述】.doc

《BP神经网络训练算法改进初探【文献综述】.doc》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、毕业论文文献综述电气工程及自动化BP神经网络改进算法综述摘要：神经网络近十年的飞速发展，激起了不同学科与领域的科学家的浓厚兴趣。神经网络因其白适应，白学习，并行处理等特点受到广泛的应用。但传统的BP算法存在诸如收敛速度慢，易陷入局部最小点以及编稈困难，计算量大等问题，因此许多学者对其进行了改进。木文概述了BP神经网络的原理、特点；介绍了几种改进算法，及其在实际屮的应用，对BP神经网络改进算法的发展趋势进行了展望；最后对MATALB屮的BP改进算法函数进行了归纳介绍。关键词：BP神经网络；改进算法；在人工神经网络发展历史中，很长一段时间里没有找到隐层

2、的连接权值调整问题的有效算法。育•到误差反向传播算法(BP算法)的提出，成功地解决了求解非线性连续函数的多层前馈神经网络权重调整问题。由于具有结构简单、工作状态稳定、易于硬件实现等优点，在众多的神经网络模型中，周而复始的信息正向传播和误养反向传播过程，是备层权值不断调整的过程,也是神经网络学习训练的过程，此过程一直进行到网络输出的谋差减少到可以接受的程度，或者预先设定的学习次数为止。BP网络的应用故为广泛°勺，尤其是在模式识别及分类、系统仿真、故障智能诊断、图像处理、函数拟合、最优预测等方面。2BP神经网络简介2.1BP神经网络结构输入信号隐层节点

3、输出层节点输入层节点图1BP神经网络结构图2.2BP神经网络原理BP(BackPropagation)神经网络是一种神经网络学习算法,全称基于误差反向传播算法的人工神经网络⑹。BP(BackPropagation)神经网络,即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。BP网络是一种多层前馈神经网络，一般具有三层或三层以上的神经网络，包括输入层，屮间层(隐层)和输出层。上下层Z间实现全连接，而每层神经元Z间无连接。当一对学习样木提供给网络后，神经元的激活值从输入层经各屮间层向输出层传播，在输出层的备神经元获得网

4、络的输入响应。接下来，按照减少目标输出与实际输出Z问的误差的方向，从输出层反向经过各屮间层冋到输入层，从而逐层修正各连接权值，这种算法称为“误差反向传播算法”，即BP算法。随肴这种误茅逆向的传播修正不断讲行，网络对输入模式响应的正确率也不断上升。3BP算法研究现状由于传统的BP算法存在诸如收敛速度慢，易陷入局部最小点以及编程困难，计算量大等问题，因此许多学者对其进行了改进，提出了多种改进算法孑⑶。BP算法的改进主要有两种途径,一种是采用启发式学习方法,如附加动量法、白适应学习率法等；另一种是采用数字优化技术，vnegMrrt29如共扼梯度法、牛顿法

5、、Levenberg-Marquardt法等。3.1附加动量法附加动量法使BP神经网络在修正其权值和值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响，它允许忽略网络上的微小变化特性。该方法是在反向传播法的基础上，在每一个权值和值的变化上加上一项正比于前次权值和阈值变化量的值，并根据反向传播法来产生新的权值和阈值的变化，带有附加动量因了的权值和阈值调节公式为：错误！未找到引用源。0〈错误！未找到引用源。＜1其屮n为训练次数，a为动量因了，式屮第二项是常规BP算法的修幣最，第一项称为动量项。这种方法通过加入动量项，减小了学习过稈的振

6、荡趋势，从而改善了收敛性，找到更优的解。但是这种方法的缺点也是明显的，参数的选取只能通过实验来确定，而且它的学习速度还不能满足实时的工作需要。3.2.自适应调整学习速率法自适应调整学习速率有利于缩短学习时间。标准BP算法收敛速度慢的重要原因是学习速率选择不当。学习速率选得太小，收敛太慢：学习速率选取得太大，则有可能修正过头，导致发散。因此出现了白适应调整学习率的改进算法，其调节准则是：检查权重的修正值是否真正降低了误差函数，如果确实如此，则说明所选取的学习速率值小了，可以对其增加一个量:若不是这样，而产生了过调，那么就应减小学习速率的值。3.3.共

7、扼梯度算当使用共扼梯度向量来确定共扼方向时，称此算法为共扼梯度法。1990J.LeonardM.A.Kramer将共扼梯度法和行搜索策略结合在一起。在共扼梯度法屮，沿着共扼方向进行行搜索，收敛速度将比一般的梯度下降法要快得多。在一般的训练算法屮，是利用学习速率决定权重和值更新的步长，而在多数共扼梯度算法屮权值步长各H反复地调報，沿着共扼梯度用行搜索来决定权值步长以减少在行屮的完成功能。共扼梯度法可以不必计算或存储二阶导数信息就具有二阶方法的功能，它与拟牛顿法相比，它的计算代价很低，因此在较大规模问题屮十分有用。3・4其他改进算法还冇一些改进方法：拟

8、牛顿算法和Levenberg-Marquardt算法。MATLAB语言的BP神经网络的不同改进算法的评论,有助于了解BP网