关于无约束优化各种方法

《关于无约束优化各种方法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章无约束优化方法ü4-1最速下降法ü4-2牛顿类方法ü4-3坐标轮换法ü4-4共轭方向法ü4-5鲍威尔方法第四章无约束优化方法无约束优化问题标准形式：T求n维设计变量x[xxx]12n使目标函数f(x)minfn0minf(x)xRx1f无约束优化问题极值存在的必要条件：0x2f0f0xn无约束优化问题标准形式：目标函数f(x)minnminf(x)xRk1kkxxs(k0,1,2,)k搜索方向的构成问题乃是无约束优化方法的关键。（1

2、）间接法（2）直接法搜索方向s取该点的负梯度方向f(x)(最速下降方向)，使函数值在该点附近的范围内下降最快。k1kkxxs(k0,1,2,)kk1kkxxaf(x)(k0,1,2,)k为了使目标函数值沿搜索方向k能够获f(x)得最大的下降值，其步长因子k应取一维搜索的最佳步长。即有k1kkkkf(x)f[xaf(x)]minf[xaf(x)]kamin()ak1kkkkf(x)f[xaf(x)]minf[xaf(x)]kamin()

3、a步长因子求解方法：k解析法：根据极值点必要条件。黄金分割法牛顿法抛物线法相邻两个搜索方向互相垂直最速下降法的搜索路径k1kkkkf(x)f[xaf(x)]minf[xaf(x)]kamin()a根据一元函数极值的必要条件及复合函数求导公式得Tkkk'()f[xkf(x)]f(x)0k1Tk[f(x)]f(x)0k1Tk(s)s0在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。搜索方向就是负梯度方向，因此相邻两个搜索方向互相垂直。形成“之”字形的

4、锯齿现象，而且越接近极小图最速下降法的搜索路径点锯齿越细。图最速下降法的收敛过程方法特点（1）初始点可任选，每次迭代计算量小，存储量少，程序简短。即使从一个不好的初始点出发，开始的几步迭代，目标函数值下降很快，然后慢慢逼近局部极小点。（2）任意相邻两点的搜索方向正交，它的迭代路径为绕道逼近极小点。当迭代点接近极小点时，步长变得很小，越走越慢。αα22例4－1求目标函数f(x)xx的极小点。12取初始点0Tx[2,2]解：初始点处梯度：2x401f(x)2x2x04沿负梯度

5、方向进行一维搜索，有100xxf(x)22例4－1求目标函数f(x)xx的极小点。12取初始点0Tx[2,2]沿负梯度方向进行一维搜索，有100xxf(x)124240x024240为一维搜索最佳步长，应满足极值必要条件0122f(x)(24)(24)()000(0)4(240)000.50100xxf(x)00第一次迭代设计点位置和函数值1f(x)02x011f

6、(x)2x2x101f(x)0因此，迭代终止：1Txx00f(x)0例4－2求目标函数22的极小点。f(x)x25x12解取初始点0Tx[2,2]则初始点处梯度：0f(x)1042x401f(x)50x2x0100沿负梯度方向进行一维搜索，有241000xxf(x)如何求？021000为一维搜索最佳步长，应满足极值必要条件0122f(x)min(24)25(2100)min(

7、)坐标轮换'()8(24)5000(2100)000算出一维搜索最佳步长6260.02003072031252第一次迭代设计点位置和函数值241.91987710x21000.307178510201f(x)3.686164T继续作下去，经10次迭代后，得到最优解x00f(x)0坐标轮换0这个问题的目标函数的等值线为一簇椭圆,迭代点从x走的是一段锯齿形路线，见图。例4－3用梯度法求下面无约束优化问题：例4－3用梯度法求下面

8、无约束优化问题：例4－3用梯度法求无约束优化问题：例4－3用梯度法求下面无约束优化问题：例4－3用梯度法求下面无约束优化问题：例4－3用梯度法求下面无约束优化问题：梯度法的特点r（1）理论明确，程序简单，对初始点要求不严格。r（2）对一般函数而言，梯度法的收敛速度并不快，因为最速下降方向仅仅是指某点的一个局部性质。r（3）梯度法相邻两次搜索方向的正交性，决定了迭代全过程的搜索路线呈锯齿状，远快近慢。r（4）梯度法