一种新的全局收敛的共轭梯度算法论文.doc

《一种新的全局收敛的共轭梯度算法论文.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、.一种新的全局收敛的共轭梯度算法....摘要本文给出了一种新的求解非线性无约束优化问题的共轭梯度算法．该算法允许初始点任意，在推广的强Wolfe线搜索下具有下降性，并且在适当的条件下具有全局收敛性．关键词：无约束最优化；共轭梯度法；下降性；线搜索；全局收敛性....ABSTRACTAnewnonlinearconjugategradienttypeformulaforunconstrainedoptimizationproblemsispresented．Thealgorithmallowsinitialpointisatrandom,the

2、methodsatisfiesthedescentconditionintheconditionofgeneralizedstrongwolfesteplength，andithasglobalconvergenceunderthesuitableconditions．Keywords：unconstrainedoptimization；conjugategradientmethod；descentproperty；linesearch；globalconvergence..目录第一章引言1第二章共轭梯度算法4第三章下降条件5第四章全局收敛性

3、7第五章结束语9参考文献10致　12......第一章引言本文主要考虑无约束最优化问题(1-1)其中为上的连续可微函数．共轭梯度算法是用来求解无约束优化问题(1-1)的一种方法，其迭代格式是(1-2)(1-3)其中，为搜索方向，，为的梯度，为某种参数．共轭梯度法最早是1952年由计算数学家Hestenes和几何学家Stiefel为求解线性方程组，时提出的．由于解线性方程组等价于求解极小化的正定二次函数，因此，他们提出的方法也可视为求二次函数极小值的共轭梯度法．1964年，Fletcher和Reeves将此方法推广到非线性优化，..得到了求解一

4、般函数极小值的共轭梯度算法．共轭梯度算法是最优化理论中最常用的方法之一，它具有算法简单，存储需求小等优点，十分适合大规模优化问题．石油勘探、大气模拟、航天航空等领域出现的特大规模的优化问题常常利用共轭梯度算法求解．符号说明：表示上的欧式数，是f的梯度函数在点的值．是由算法产生的点列．若为当前的迭代点，则记为．非线性共轭梯度算法的基本步骤[4](1)给出初始值；(2)如果,则停;否则利用某种搜索方法求;令；(3)利用某种公式计算参数,,z转步(2)；可由精确线搜索求得．但在实际计算中精确线搜索要求准确度高，计算量较大，故实际计算中常常进行非精确

5、线搜索．在应用中可由非精确线搜索求得：(1)弱Wolfe-powell规则寻找一个，满足，　　，，．(2)强Wolfe-powell规则寻找一个，满足，(1-4)，，．(1-5)(3)Armijo规则寻找一个，其中，，是最小的正整数，满足，.(4)Armijo-Goldstein规则寻找一个，满足，，．(5)推广的Wolfe准则..寻找一个，满足，，上式中，为常数，，，且．不同的对应不同的共轭梯度算法．著名的共轭梯度法有：,,,FR方法在计算方面的表现并不十分理想，但采用精确先搜索时可是证明FR方法对一般的非凸函数总是收敛的.而采用强Wolf

6、e线搜索的FR方法只要每一步的搜索方向下降，则此方法可以在适当的函数假定下全局收敛.PRP方法是目前认为数值表现最好的共轭梯度算法之一，当算法产生一个小步长时，由PRP方法定义的搜索方向自动靠近负梯度方向，从而较为有效地避免了FR方法可能连续产生小步长的缺点.CD方法的一个很重要的一个性质是：只要强Wolfe条件(1-4)和(1-5)条件中的参数方法在每次迭代均产生一个下降方向，而这时FR方法和PRP方法对一致凸函数都有可能产生上升搜索方向.虽然CD方法在Wolfe线搜索时能够保证每个搜索方向都下降，但全局收敛性不好，Dai和Yuan在文献[

7、5]中严格证明了采用强Wolfe线搜索的DY方法在每一步产生一个下降方向，并且证明了该方法的全局收敛性.文献[6]对共轭下降法的收敛性做了进一步的分析；文献[7-10]对共轭下降法的作了改进，得到了包含共轭下降法的一类无约束优化方法，并证明了全局收敛性；文献[11-20]对FR方法的作了改进，得到了一类新的共轭梯度法并证明了全局收敛性．鉴于上述文献及其他相关文献的思路，本文给出了一个新的：(1-6)其中．当．得到了新的共轭梯度法，并证明了其在适当条件下的全局收敛性．......第二章共轭梯度算法本文对目标函数作如下假设：(1)在上连续可微有界

8、；(2)的梯度函数是Lipschitz连续的，即存在，使得：采用推广的Wolfe准则确定步长，即要求满足：(2-1)(2-2)式(2-1)和(2-2)中，为常数，，