常用的无约束优化方法.ppt

《常用的无约束优化方法.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章常用的无约束优化方法王桂从无约束优化问题的数学模型求上述问题最优解(x*,F*)的方法称为无约束优化方法无约束优化方法理论研究开展的比较早，构成的优化方法已很多，也比较成熟。使用无约束优化方法，不仅可以直接求无约束优化设计问题的最优解，而且通过对无约束优化方法的研究给约束优化方法建立明确的概念及提供良好的基础，某些优化设计方法就是先把优化设计问题转化为无约束问题后，再直接用无约束优化方法求解。无约束优化问题的求解方法间接法直接法坐标轮换法鲍威尔法梯度法共轭梯度法牛顿法变尺度法解析法(间接法)：用函数的一阶、二阶导数进行求解的算法直接搜索法(直接法)：只利用函数值求

2、最优解的解法解析法的收敛速率较高，直接法的可靠性较高。无约束优化方法的基本过程从选定的某初始点x(k)出发，沿着以一定规律产生的搜索方向S(k)，取适当的步长a(k)，逐次搜寻函数值下降的新迭代点x(k+1)，使之逐步逼近最优点x*。初始点x(k)、搜索方向S(k)、迭代步长a(k)称为优化方法算法的三要素。其中以搜索方向S(k)更为突出和重要，它从根本上决定着一个算法的成败、收敛速率的快慢等所以，一个算法的搜索方向成为该优化方法的基本标志，分析、确定搜索方向S(k)是研究优化方法的最根本的任务之一4.1坐标轮换法坐标轮换法由D’esopo于1959年提出；坐标轮换法是每

3、次搜索只允许一个变量变化，其余变量保持不变，即沿坐标方向轮流进行搜索的寻优方法；坐标轮换法把多变量的优化问题轮流地转化成了单变量的优化问题。属于直接搜索法。即只需要目标函数的数值信息而不需要目标函数的导数；4.1坐标轮换法-基本原理既可以用于无约束优化问题的求解，又可以经过适当的处理用于约束优化问题；基本特征：将迭代方向S取为一系列按序号排列的坐标轴方向，通常都用单位矢量ei作为迭代的方向矢量。对于n维优化问题，当n个坐标轴方向依次取过一次后，称为完成了一轮迭代。基本原理：将一个n维的无约束最优化问题转化为一系列沿坐标轴方向的一维搜索问题来求解。在每一次迭代中，只改变n个

4、变量中的一个，其余变量固定不动，因此常称为单变量法或变量交错法或降维法4.1坐标轮换法-迭代步长的确定在沿坐标轴方向的搜索中，利用一维优化方法来确定沿该方向上具有最小目标函数值的步长，即：先选择一个不大的初始步长a0，在每次一维搜索中都是先沿正向从a到a0，开始做试探计算函数值，若函数值下降，则以倍增的速度加大步长，步长序列为a0,2a0,4a0…直到函数值保持下降的最后一个步长为止。(1)最优步长(2)加速步长在无约束优化问题求解中采用最优步长方法是方便的。4.1坐标轮换法-迭代过程第一轮迭代：(2)以x1(1)为新起点，沿第二坐标轴的方向e2=[01]T作一维搜索，确

5、定步长2(1)，得第一轮的第二个迭代点：x2(1)=x1(1)+1(1)e2(1)任取一初始点x(0)作为初始点x0(1)，先沿第一坐标轴的方向e1=[10]T作一维搜索，用一维优化方法确定最优步长1(1)，得第一轮的第一个迭代点：x1(1)=x0(1)+1(1)e14.1坐标轮换法-迭代过程x0(2)x2(1)x1(2)=x0(2)+1(2)e1x2(2)=x1(2)+2(2)e2第二轮迭代：依次类推,可进行第三轮、第四轮…迭代注意：右上角括号内的数字表示轮数，右下角数字表示该轮中的第几个迭代点号4.1坐标轮换法-终止准则采用点距准则注意：若采用点距准则或

6、函数值准则，其中采用的点应该是一轮迭代的始点和终点，而不是某搜索方向的前后迭代点。4.1坐标轮换法-计算步骤⑴任选初始点作为第一轮的起点，置n个坐标轴方向矢量为单位坐标矢量：⑵按照下面迭代公式进行迭代计算k为迭代轮数的序号，取k=1，2，……；i为该轮中一维搜索的序号，取i=1，2，……n步长α一般通过一维优化方法求出其最优步长⑶按下式判断是否终止迭代如满足，迭代终止，并输出最优解最优解否则，令k←k+1返回步骤（2）例题4.1例题4.1用坐标轮换法求目标函数的无约束最优解。给定初始点x(0)=[0,0]T，精度要求ε=0.1解：做第一轮迭代计算沿e1方向进行一维搜索式中

7、，为第一轮的起始点，取按最优步长原则确定最优步长α1，即极小化暂且用微分学求导解出，令其一阶导数为零以为新起点，沿e2方向一维搜索以最优步长原则确定α2，即为极小化对于第一轮按终止条件检验继续进行第2轮迭代计算。计算5轮后，有故近似优化解为坐标轮换法的流程图--++小结坐标轮换法程序简单，易于掌握。但是计算效率比较低，尤其是当优化问题的维数较高时更为严重。一般把此种方法应用于维数小于10的低维优化问题。优化效率在很大程度上取决于目标函数的形态4.2鲍威尔(Powell)法鲍威尔法是直接搜索法中一个十分有效的算法。该算法是沿着逐