无约束最优化问题研究论文

《无约束最优化问题研究论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、无约束最优化问题研究毕业论文目录第一章引言1第二章共轭梯度算法4第三章下降条件5第四章全局收敛性7第五章结束语9参考文献10致　谢1211红河学院本科毕业论文(设计)第一章引言本文主要考虑无约束最优化问题(1-1)其中为上的连续可微函数．共轭梯度算法是用来求解无约束优化问题(1-1)的一种方法，其迭代格式是(1-2)(1-3)其中，为搜索方向，，为的梯度，为某种参数．共轭梯度法最早是1952年由计算数学家Hestenes和几何学家Stiefel为求解线性方程组，时提出的．由于解线性方程组等价于求解极小化的正定二次函数，

2、因此，他们提出的方法也可视为求二次函数极小值的共轭梯度法．1964年，Fletcher和Reeves将此方法推广到非线性优化，得到了求解一般函数极小值的共轭梯度算法．共轭梯度算法是最优化理论中最常用的方法之一，它具有算法简单，存储需求小等优点，十分适合大规模优化问题．石油勘探、大气模拟、航天航空等领域出现的特大规模的优化问题常常利用共轭梯度算法求解．符号说明：表示上的欧式范数，是f的梯度函数在点的值．是由算法产生的点列．若为当前的迭代点，则记为．非线性共轭梯度算法的基本步骤[4](1)给出初始值；(2)如果,则停;否则

3、利用某种搜索方法求;令；(3)利用某种公式计算参数,,z转步(2)；可由精确线搜索求得．但在实际计算中精确线搜索要求准确度高，计算量较大，故实际计算中常常进行非精确线搜索．在应用中可由非精确线搜索求得：(1)弱Wolfe-powell规则寻找一个，满足，　　，，．3红河学院本科毕业论文(设计)(2)强Wolfe-powell规则寻找一个，满足，(1-4)，，．(1-5)(3)Armijo规则寻找一个，其中，，是最小的正整数，满足，.(4)Armijo-Goldstein规则寻找一个，满足，，．(5)推广的Wolfe准则

4、寻找一个，满足，，上式中，为常数，，，且．不同的对应不同的共轭梯度算法．著名的共轭梯度法有：,,,FR方法在计算方面的表现并不十分理想，但采用精确先搜索时可是证明FR方法对一般的非凸函数总是收敛的.而采用强Wolfe线搜索的FR方法只要每一步的搜索方向下降，则此方法可以在适当的函数假定下全局收敛.PRP方法是目前认为数值表现最好的共轭梯度算法之一，当算法产生一个小步长时，由PRP方法定义的搜索方向自动靠近负梯度方向，从而较为有效地避免了FR方法可能连续产生小步长的缺点.CD方法的一个很重要的一个性质是：只要强Wolfe

5、条件(1-4)和(1-5)条件中的参数方法在每次迭代均产生一个下降方向，而这时FR方法和PRP方法对一致凸函数都有可能产生上升搜索方向.虽然CD方法在3红河学院本科毕业论文(设计)Wolfe线搜索时能够保证每个搜索方向都下降，但全局收敛性不好，Dai和Yuan在文献[5]中严格证明了采用强Wolfe线搜索的DY方法在每一步产生一个下降方向，并且证明了该方法的全局收敛性.文献[6]对共轭下降法的收敛性做了进一步的分析；文献[7-10]对共轭下降法的作了改进，得到了包含共轭下降法的一类无约束优化方法，并证明了全局收敛性；文

6、献[11-20]对FR方法的作了改进，得到了一类新的共轭梯度法并证明了全局收敛性．鉴于上述文献及其他相关文献的思路，本文给出了一个新的：(1-6)其中．当．得到了新的共轭梯度法，并证明了其在适当条件下的全局收敛性．3第一章引言3第二章共轭梯度算法第二章共轭梯度算法本文对目标函数作如下假设：(1)在上连续可微有界；(2)的梯度函数是Lipschitz连续的，即存在，使得：采用推广的Wolfe准则确定步长，即要求满足：(2-1)(2-2)式(2-1)和(2-2)中，为常数，，，且．取，即：．(2-3)　本文收敛性采用搜索条

7、件(2-1)和(2-3)．具有下降性的共轭梯度算法如下：(1)，令，，若，则停；否则，转(2)；(2)令，满足(2-1)和(2-3)；(3)计算，若，则停；否则令，转(4)；(4)令，其中满足(1-6)，转(2)．注：文献[13]中非精确线搜索条件保证的存在性．3红河学院本科毕业论文(设计)第三章下降条件定理3.1在假设成立的条件下，考虑共轭梯度法式(1-1)、(1-2)、(1-3)．如果步长满足条件(2-1)和(2-2)，当取(1-6)式时，则算法对所有的k1，有下降性质．证明：当时，即，有假设当k=k-1时，有　　

8、　　　　　　　　　　　　　　　　(3-1)由于所以有其中．所以，得证．定理3.2在假设成立的条件下，考虑迭代格式(1-2)、(1-3),步长由(2-1)、(2-2)求出，则有．证明:由，知，k=1,2．由(2-2)式及Lipschitz条件有，11红河学院本科毕业论文(设计)所以.(3-2)其中由的收敛性及(3-2)式知，，结论成