第四章常用的无约束优化方法

《第四章常用的无约束优化方法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章常用的无约束优化方法§4-1坐标轮换法§4-2鲍威尔方法§4-3最速下降法（梯度法）§4-5共轭梯度法§4-5牛顿类方法§4-6无约束优化方法的评价准则1教学目的、要求1．掌握常用无约束优化方法的基本思想、方法构成、迭代步骤、终止准则。教学重点1．鲍威尔法2．梯度法3．牛顿法2D有约束优化问题模型一、无约束优化方法的数学模型无约束优化问题模型概述3二、研究无约束优化方法的意义（1）有些实际问题，其数学模型本身就是一个无约束优化问题。（2）通过熟悉它的解法可以为研究约束优化问题打下良好的基础。（3）约束优化问题的求解可以通过一系列无约束优化方法来达到。所以无约束优化问题的解法是优化设计方法

2、的基本组成部分，也是优化方法的基础。4三、解法分类1）直接法其搜索方向直接取定或由计算目标函数值所得的信息来确定；2）间接法（解析法）确定搜索方向时用到一阶或（和）二阶导数的方法。56一.搜索方向依次沿个n个正交坐标轴的方向搜索：二.迭代过程（以2维问题为例）§4-1坐标轮换法78从出发沿方向进行一维搜索得：给定结束坐标轮换法流程图9三.算法特点如:(1)等值线为椭圆,且长短轴分别平行于坐标轴时--高效(2)等值线为如图脊线时--无效(3)一般情况--低效1）编程简单，容易掌握；2）收敛速度通常较低（其有效性取决于目标函数的性态），仅适于低维的情况。10四.算例用坐标轮换法求函数的极小点，已知

3、K1211§4-2鲍威尔方法鲍威尔法是以共轭方向为基础的收敛较快的直接法之一，是一种十分有效的算法。1964年，鲍维尔提出这种算法，其基本思想是直接利用迭代点的目标函数值来构造共轭方向，然后从任一初始点开始，逐次沿共轭方向作一维搜索求极小点。并在以后的实践中进行了改进。123）若目标函数为正定二次函数，n轮结束后即可到达最优点。2）每轮迭代产生一个新方向取代原来的第一方向，n轮迭代后可产生n个彼此共轭的方向；1）开始采用坐标轴方向；一、Powell基本算法13二、Powell法（Powell修正算法）应用Powell基本算法时，若有一次搜索的最优步长为0，且该方向被换掉，则该算法失效。1）问题

4、的提出和重合以后的搜索均在ox2x3平面内进行退化142)Powell对基本算法的改进在获得新方向构成新方向组时,不是轮换地去掉原来的方向,而是经判别后,在n+1个方向中留下最接近共轭的n个方向.*①根据Powell条件判定是否需换方向；②如需换向，则换掉函数值下降量最大的方向.151.基本算法二维情况描述鲍威尔的基本算法:1）任选一初始点x0(1)，选坐标轴单位向量e1=[1,0]T和e2=[0,1]T作为初始搜索方向。2）从X0(1)出发，顺次沿e1、e1作一维搜索，得点，两点连线得一新方向s1x1x2o12X*1ee16沿s2作一维搜索得点X0(3)。即是二维问题的极小点X*。方法的基本

5、迭代格式包括共轭方向产生和方向替换两主要步骤。用s1代替e1形成两个线性无关向量s1,e2，作为下一轮迭代的搜索方向。再从出发，沿S1作一维搜索得点，作为下一轮迭代的初始点。3）从，顺次沿e2,s1作一维搜索，得到点，两点连线得一新方向:o1x1x2o12X*1ee17把二维情况的基本算法扩展到n维，则鲍威尔基本算法的要点是：在每一轮迭代中总有一个始点（第一轮的始点是任选的初始点）和n个线性独立的搜索方向。从始点出发顺次沿n个方向作一维搜索得一终点，由始点和终点决定了一个新的搜索方向。用这个方向替换原来n个方向中的一个，于是形成新的搜索方向组。替换的原则是去掉原方向组的第一个方向而将新方向排在

6、原方向的最后。此外规定，从这一轮的搜索终点出发沿新的搜索方向作一维搜索而得到的极小点，作为下一轮迭代的始点。这样就形成算法的循环。上述基本算法仅具有理论意义。18应用共轭方向法时，若有一次搜索的最优步长为0，且该方向被换掉，则共轭方向法失效。变成二维问题和重合以后的搜索均在ox2x3平面内进行退化192.修正算法在获得新方向构成新方向组时,不是轮换地去掉原来的方向,而是经判别后,在n+1个方向中留下最接近共轭的n个方向.*①根据Powell条件判定是否需换方向；②如需换向，则换掉函数值下降量最大的方向.201）Powell条件如下述两不等式同时成立则需换向，否则仍取原方向组。计算:（映射计算）

7、212）更换方向的步骤3）更换方向：2）构造新方向：1）找出该轮迭代中目标函数值下降量最大的方向（假定其标号为m）；淘汰函数值下降量最大的方向，将Sn+1(k)补在最后第k+1环的方向组为：22Powell修正算法F3