1_最速下降法

《1_最速下降法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第三部分无约束最优化问题的解法第七章无约束最优化的解析法第八章无约束最优化的直接法第三部分无约束最优化问题的解法解析法数学模型复杂时不便求解无约束优化方法的分类数值法直接法可以处理复杂函数及没有数学表达式的优化设计问题第七章无约束最优化的解析法(AnalyticMethodsforUnconstrainedOptimizations)一般来说，无约束最优化问题的求解是通过一系列一维搜索来实现的．因此，如何选择按索方向是无约束最优化方法的核心，且不同的搜索方向形成不同的最优化方法．本章介绍无约束最优化方法中基本的并且主要利用目标函数的解析性质(包括一阶

2、导数和二阶导数)来构造搜索方向的一些方法，这些方法统称为解析法.无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础.第七章无约束最优化的解析法无约束优化问题的极值条件搜索方向问题是无约束优化方法的关键.基本迭代格式无约束优化方法的算法框图第七章无约束最优化的解析法最速下降法(SteepestDescentMethod)Newton法共轭梯度法(ConjugateGradientMethod)变度量法(变尺度法，拟Newton法)(Quasi-NewtonMethod,VariableMetricMethod)最小二乘法(LeastS

3、quareMethod)在点处，沿什么方向下降最快?分析：考查：当时，取极小值．结论：负梯度方向使下降最快，亦即最速下降方向．最速下降法问题的提出最速下降法迭代公式最优步长最速下降方向其中Step1:给出最速下降法算法步骤Step3:计算下降方向计算步长因子令转步２.Step2:计算如果停止迭代，xk为近似最优解;否则转Step3.设是正定二次函数,最速下降法特例用最速下降法求解：解：最速下降法举例最速下降法举例解序列表达式：在最速下降法中，两个相邻的搜索方向是正交的，即最速下降法性质几何解释最速下降法逼近极小点的路线是锯齿形的.定理7.1.1:最速

4、下降法收敛性分析定理7.1.2:全局收敛性线性收敛速度程序设计简单计算量小,存储量小,并且计算效率在最初几步迭代时较高,常与其他方法一起使用.．(2)对初始点没有特别要求,有着很好的全局收敛性.最速下降法优点缺点最速下降法是线性收敛的，但当接近最优解时，收敛速度很慢．原因：①仅反映在处的局部性质．②相继两次迭代中搜索方向是正交的: