基于多种共轭梯度法改进bp算法的分析

《基于多种共轭梯度法改进bp算法的分析》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于多种共轭梯度法改进BP算法的分析摘要中国1/vie　　BP算法也称误差反向传播算法。主要思想就是正向传递信息，反向传播误差来调整网络的权值和阈值，使输出结果不断向目标函数逼近。由于BP算法本身的优点比较多常被分类、模式识别、函数逼近、数据压缩等。多年来对于BP算法的改进和应用领域研究也在不断地进行着。对于BP的算法改进主要有两种方式：一种是基于启发式进行的改进，一种是基于数值优化方式的改进。而基于数值优化的方式主要有共扼梯度法、L_M算法等。本文主要介绍BP算法的几种共轭梯度法思想，并利用实验进行对比分析，方便后续研究者的利用。　　【关键词】B

2、P算法共轭梯度法改进　　在人工神经网络的实际应用中，目前绝大部分都采用BP网络及其变化形式。它是前馈网络的核心部分，常被用于解决非线性问题，是一种有监督的多层前馈神经网络模型。由于权值是利用网络的训练误差进行反向传递来修正的，顾也称其为BP网络。输入信息的正向传递和输出误差的反向传递，构成了BP网络的信息循环，最终使得误差到达最小。BP网络的传统训练方法利用的是梯度下降法，本文则主要介绍BP网络的几种共轭梯度法对网络进行训练，并对实验结果进行对比分析。　　1BP神经网络的梯度下降法　　梯度下降法又称最速下降法，是由著名的数学家柯西cauchy于18

3、47年提出的。它的主要思想就是在最快的时间内达到目标值，而这个最快的方式就是函数的梯度。对于函数而言，梯度就是函数的导数。对于BP算法而言，就是利用梯度下降法沿着梯度下降的方向来寻求函数的最优值。它有两种迭代方式：一种是随机梯度下降，另一种是批量梯度下降。在BP网络中一般利用的是批量梯度下降法的原理。下面我们简单介绍下批量梯度下降法的原理。若h（x）是需要拟合的函数；E（θ）为均方误差，主要是用来衡量集众的样本对线性模式的拟合程度。m为训练样本的总数。θ是最终需要通过梯度下降法求得的参数。　　而我们的目标就是需要求出E（θ）取极小值的θT向量，根据

4、前人的研究得出，沿着函数梯度的方向下降就能最快找到极小值。　　所以计算E（θ）关于θT的偏导数，也就得到了向量中每一个θ的梯度：　　沿着梯度的方向更新参数的值，迭代直到收敛。可以看到，批量梯度下降是用了训练集中的所有样本，所以这种训练一般直适合小样本的训练学习，而且训练过程中易陷入局部极小值且易出现震荡现象。　　2几种共轭梯度法　　共轭梯度法是梯度法的一种改进方法。可以弥补梯度法振荡和收敛性差的缺陷，基本思想是寻找与负梯度方向和上一次搜索反向共轭的方向作为新的搜索反向，从而加快训练速度，并提高训练精度。所有的共轭梯度法都采用负梯度方向作为初始搜索方

5、向：p0=-g0，然后沿着该方向作一维搜索：，接下来，就是利用共轭方向作为新一轮的搜索方向，通常在当前负梯度方向上附加上一次搜索方向：。而的选取衍生出各种梯度法，如：Fletcher-Reeves、Polak-Ribiere、Pooller提出的量化共轭梯度法（SCG）就避免了耗时的以为搜索，其基本思想是融合了可信区间法和共轭梯度法，具体的方法就不再赘述了。下节我们通过实例进行仿真验证上面几种算法的特性。　　3应用Matlab进行实验对比分析　　本节主要是借鉴MATLAB神经网络与应用中的实例进行分析，总结以上几种训练方法的特点，并在此基础上进行汇

6、总分析。首先设置输入值和期望输出值。如表1所示。　　通过上述实验是通过20组实验后得到的平均值，可以看出述几种实验模拟得到的结果和原始值很相近。所以上述训练方法对BP网络的训练还是有意义的。只是针对不同的情况利用不同的�练方法而已。