现代设计理论与方法(优化设计第四章总结)课件.ppt

《现代设计理论与方法(优化设计第四章总结)课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章无约束优化方法总结目前已研究出很多种无约束优化方法，它们的主要不同点在于构造搜索方向上的差别。按照是否使用目标函数导数可分为：（1）间接法——要使用导数，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。（2）直接法——不使用导数信息，如坐标轮换法、鲍威尔法、单形替换法等。无约束优化问题求n维设计变量使目标函数搜索方向的构成问题乃是无约束优化方法的关键。用直接法寻找极小点时，不必求函数的导数，只要计算目标函数值。这类方法较适用于解决变量个数较少的（n≤20）问题，一般情况下比间接法效率低。间接法除要计算目标函数值外，还要计算目标函数的梯度，有的还要计算其海赛矩阵。迭代搜索方法是无约束

2、优化的最常用求解方法，其通用格式为：基本思想：函数的负梯度方向是函数值在该点下降最快的方向。将n维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题，利用负梯度作为搜索方向，故称最速下降法或梯度法。搜索方向s取该点的负梯度方向(最速下降方向)，使函数值在该点附近的范围内下降最快。一、最速下降法为了使目标函数值沿搜索方向能够获得最大的下降值，其步长因子应取一维搜索的最佳步长。即有根据一元函数极值的必要条件和多元复合函数求导公式，得相邻两个迭代点上的函数梯度相互垂直。特点：以锯齿状向极值点靠近，而且越接近极小点锯齿越细最速下降法搜索过程演示（以二维为例）最速下降方法特点（1）初始点可任选，每

3、次迭代计算量小，存储量少，程序简短。即使从一个不好的初始点出发，开始的几步迭代，目标函数值下降很快，然后慢慢逼近局部极小点。（2）任意相邻两点的搜索方向是正交的，它的迭代路径为绕道逼近极小点。当迭代点接近极小点时，步长变得很小，越走越慢。设为的极小点牛顿法基本思想：在xk邻域内用一个二次函数来近似代替原目标函数，并将的极小点作为对目标函数求优的下一个迭代点。经多次迭代，使之逼近目标函数的极小点。牛顿法是求函数极值的最古老算法之一。牛顿型法这就是多元函数求极值的牛顿法迭代公式。对于二次函数，海赛矩阵H是一个常矩阵，其中各元素均为常数。因此，无论从任何点出发，只需一步就可找到极小点。阻尼牛顿法

4、（避免了迭代后函数值上升的现象）阻尼因子，沿牛顿方向进行一维搜索的最佳步长从牛顿法迭代公式的推演中可以看到，迭代点的位置是按照极值条件确定的，其中并未含有沿下降方向搜寻的概念。因此对于非二次函数，如果采用上述牛顿迭代公式，有时会使函数值上升。牛顿法搜索过程演示（以二维为例）阻尼牛顿方法特点（1）初始点应选在X*附近，有一定难度；（2）尽管每次迭代都不会是函数值上升，但不能保证每次下降；（3）若迭代点的海赛矩阵为奇异，则无法求逆矩阵，不能构造牛顿法方向；（4） 不仅要计算梯度，还要求海赛矩阵及其逆矩阵，计算量和存储量大。此外，对于二阶不可微的F(X)也不适用。虽然阻尼牛顿法有上述缺点，但在特

5、定条件下它具有收敛最快的优点，并为其他的算法提供了思路和理论依据。DFP变尺度法首先有戴维顿（Davidon）与1959年提出，又于1963年由弗莱彻（Fletcher）和鲍维尔加以发展和完善，成为现代公认的较好的算法之一。DFP法是基于牛顿法的思想又作了重要改进。这种算法仅用到梯度，不必计算海赛阵及其逆矩阵，但又能使搜索方向逐渐逼近牛顿方向，具有较快的收敛速度。三、变尺度法变量的尺度变换是放大或缩小各个坐标。通过尺度变换可以把函数的偏心程度降到最低限度。梯度法构造简单，只用到一阶偏导数，计算量小，初始点可任选，且开始几次迭代，目标函数值下降很快；其主要缺点是迭代点接近X*时，即使对二次正

6、定函数收敛也非常慢。牛顿法收敛很快，对于二次函数只需迭代一次便达到最优点，对非二次函数也能较快迭代到最优点，但要计算二阶偏导数矩阵及其逆阵，对维数较高的优化问题，其计算工作和存储量都太大。变尺度法将两种算法的优点综合起来，扬长避短梯度法和牛顿法特性回顾变量的尺度变换是放大或缩小各个坐标。通过尺度变换可以把函数的偏心程度降低到最低限度。尺度变换技巧能显著地改进几乎所有极小化方法的收敛性质。牛顿法就可看成是经过尺度变换后的梯度法。经过尺度变换，使函数偏心率减小到零，函数的等值面变为球面(或超球面)，使设计空间中任意点处函数的梯度都通过极小点，用最速下降法只需一次迭代就可达到极小点。对变换前的二

7、次函数，在使用牛顿方法时，由于其牛顿方向直接指向极小点，因此只需一次迭代就能找到极小点。变尺度法搜索过程演示（以二维为例）四、鲍威尔方法鲍威尔法是以共轭方向为基础的收敛较快的直接法之一，是一种十分有效的算法。1964年，鲍维尔提出这种算法，其基本思想是直接利用迭代点的目标函数值来构造共轭方向，然后从任一初始点开始，逐次沿共轭方向作一维搜索求极小点。并在以后的实践中进行了改进。对函数：基本思想：在不用导数的前提下，在迭代中