最速下降法steepestdescendmethod

《最速下降法steepestdescendmethod》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、3.3最速下降法和共轭梯度法－－多变量函数寻优法关于无约束极小问题普遍使用下降迭代算法,每一类下降选代算法中包含两个关键步骤：得到一个迭代点x(k)后，（1）如何选择搜索方向d(k)？（2）在确定搜索方向上，用什么方法进行一维搜索?几个概念1。梯度：f(x)是定义在Rn上的可微函数，称以f(x)的n个偏导数为分量的向量，为f(x)的梯度，记作▽f(x)即2。梯度向量：称为f(x)在x0处的梯度向量。3。梯度▽f(x)的模：几个梯度公式1。f(x)＝C（常数），则▽f(x)＝0。2。f(x)=

2、bTx，则▽f(x)＝b；3。▽(xTx)＝2x；4。若A是实对称方阵，则有▽(xTAx)＝2Ax；一、最速下降法(methodofsteepestdescent)2.收敛准则：1.基本思想：任一点的负梯度方向是函数值在该点下降最快的方向。将n维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题，利用负梯度作为搜索方向，故称最速下降法或梯度法。3.具体步骤4.方法特点（1）初始点可任选，每次迭代计算量小，存储量少，程序简短。即使从一个不好的初始点出发，开始的几步迭代，目标函数值下降很快，然后慢

3、慢逼近局部极小点。（2）任意相邻两点的搜索方向是正交的，它的迭代路径为绕道逼近极小点。当迭代点接近极小点时，步长变得很小，越走越慢。对于解二次函数最小值问题时，由于最速下降法中，当迭代点接近极小点时，步长变得很小，越走越慢。所以把此法改进为共轭梯度法。复习精确搜索试探法（平分法、0.618法）函数逼近法（牛顿法）最速下降法二、共轭梯度法(ConjugateGradsMeans)1.研究目标函数类型：二次函数的无约束极小问题说明：对可变量分离函数f(x)=f1(x1)+f2(x2)+…+fn(xn

4、)的无约束极小问题，则从任意一点x(1)出发，分别沿每个坐标轴方向进行一维搜索，进行一遍(共进行n次线搜索)以后，一定就能得到的f(x)的最优解．2.基本思想：把形为(3.16)二次函数（其中Q为实对称正定矩阵）作基变换，使f(x)变成为变量分离的形式。那么任一点的负梯度方向是函数值在该点下降最快的方向。f(x)=f1(x1)+f2(x2)+…+fn(xn)选基{p1,p2,…pn,}使piTQpj=0,(ij)定义设Q为n阶实对称正定矩阵，若n维方向x和y满足xTQy=0，则称方向x和y是Q

5、—共轭的。定理在每个迭代点x(k)处，以负梯度－f(x(k))和前一搜索方向pk－1组合，即可构成与前k－1个搜索方向p1，p2…，pk－1均两两Q－共轭的搜索方向pk。4.基本步骤：求解（与最速下降法同）3.共轭Q－方向的推导：略（见教材P50）5.一般二阶可微函数共轭梯度法的改进：说明：若问题含变量较多，则用共轭梯度的改进法；若问题含变量不多，则用共轭梯度法。思考共轭梯度法与最速下降法主要区别和联系有什么？适用范围收敛速度