拟牛顿法的研究现状文献综述

《拟牛顿法的研究现状文献综述》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、拟牛顿法的研究现状文献综述姓名:孟媛媛学号：112111215指导老师：肖伟前言求解非线性方程组的方法有很多，最速下降法具有结构简单，计算量小的优点，但是它的收敛速度较慢；牛顿法及其改进牛顿法，虽然收敛速度快，但在迭代过程中的每一步构造搜索方向时，首先要计算目标函数的Hessian矩阵，然后需要解一个线性方程组，计算工作量很大，这就抵消了牛顿法收敛速度快的优点。为了克服牛顿法的缺点，人们提出了拟牛顿法，拟牛顿法在构造搜索方向时，只需要利用目标函数及其一阶导数的信息，避免了Hessian矩阵的计算

2、，减少了计算量，并且具有超线性收敛的优点，经理论证明和实践检验，拟牛顿法已经成为一类公认的比较有效的算法.拟牛顿法一、求解非线性方程组的拟牛顿法设是连续可微映射．考虑下面的非线性方程组：牛顿法是求解方程组的经典的方法之一，其迭代格式为：，，其中是在处的Jacobian阵.牛顿法的一个显著优点就是具有局部的超线性甚至二阶收敛速度，由于牛顿法这一优点，使其成为颇受欢迎的算法之一，然而，当Jacobian矩阵奇异时，牛顿方向可能不存在．克服牛顿法的这一缺陷的一个主要途径就是采用拟牛顿法，其基本思想是利

3、用某个矩阵作为的近似取代.拟牛顿法的一般格式为：，，其中是步长，通常由某种线性搜索确定.是的近似，它满足下面的拟牛顿方程：，其中.注意到，因此，与沿方向很接近.拟牛顿矩阵的不同的校正公式导致不同的拟牛顿法.著名的拟牛顿校正公式有Broyden秩一校正公式，对称秩一校正公式，DFP校正公式，BFGS校正公式，PSB校正公式等，它们分别由下面这些公式定义：容易看到，DFP，PSB，BFGS，SR1校正公式都是对称的，他们适合求解对称问题，而BroydenR1校正公式是不对称的，因此它常被用来求非对称

4、问题.如果，则DFP和BFGS公式保持迭代矩阵的对称正定性，而其它几种方法不具有这种性质.PSB校正公式在非线性最小二乘问题中经常被采用.BFGS公式是颇受欢迎的拟牛顿公式，它具有DFP校正所具有的各种性质.此外，当采用Wolfe线性搜索时，BFGS算法对凸极小化问题具有全局收敛性质，这个性质对于DFP方法是否成立尚不清楚.大量的数据结果表明，BFGS方法的数值效果优于其它的拟牛顿方法.拟牛顿法不需要明显计算Jacobian阵，同时保持牛顿法的快速收敛速度.自20世纪60年代Broyden第一次

5、提出求解非线性方程组的拟牛顿法后，因其深邃丰富的理论知识和实际计算中的有效性，很快受到最优化工作者和计算数学家的特别青睐.特别是拟牛顿法的局部收敛性得到了广泛的研究.此外，人们对拟牛顿法求解无约束问题的全局收敛性分析进行了相当的努力并且取得了巨大进展．尽管拟牛顿法的局部收敛性结果十分丰富，但是其求解非线性方程组的全局收敛性结果却很少．全局化方法需要采用某种搜索计算步，但是此时拟牛顿方向一般不再是某个度量函数的下降方向，从而使得线性搜索难以实现或考说缺少一种有效的线性搜索.Griewank在198

6、6年研究了解非线性方程组的Broyden秩一方法的全局收敛性，并在文献[2]中提出了一种无导数的线性搜索，同时证明了Broyden方法在该搜索下的全局收敛性．Li和Fukushima在文献[3]中构造了一个反例表明Griewank在文献[2]中的线性搜索在计算中可能会产生某些困难，即该搜索不是适定的.为克服此缺陷，Li和Fukushima提出了一种非单调搜索技术：求步长使得其中是常数，在适当条件下，文献[3]证明了求解非线性方程组的Broyden方法的全局收敛性.关于BFGS方法求解非线性方程组

7、的第一个全局收敛性结果属于Li和Fukushima，1999年，他们在文献[4]中提出了一种新的近似范数下降的BFGS方法，称之为Gauss—Newton型BFGS方法，其拟牛顿方向由下面的方程决定：，其中由下面的BFGS公式校正：其中.这种Gauss-Newton型BFGS公式不同于标准的BFGS公式，尽管它仍满足拟牛顿方程.注意到，因此，相应的方法称之为Gauss-Newton型BFGS方法.2003年，GU等人引入了一种范数下降的线性搜索，并利用Li和Fukushima求解无约束优化问题的

8、CBFGS和MBFGS方法的思想,提出了求解对称非线性方程组的范数下降的保守的和修正的Gauss—Newton型BFGS方法，并且证明了这两种方法全局收敛.尽管牛顿法和拟牛顿法都是非常有效的算法，但是它们都需要计算和存储矩阵，这难以用于求解大型问题．最近，Cruz和Raydan在文献[5]提出了一种求解一般的非线性方程组的非单调的谱梯度方法并证明了其全局收敛性．Zhang和Zhou在文献[6]提出了一种求解单调非线性方程组的谱梯度投影方浃法建立了全局收敛性结果.这两种谱梯度方法都适合求大规模问题