现代设计方法-优化设计4-无约束优化ppt课件.pptx

《现代设计方法-优化设计4-无约束优化ppt课件.pptx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、现代设计方法优化设计部分黄正东，吴义忠2015年本章主要内容优化设计概述优化设计的数学基础一维探索优化方法无约束优化方法约束问题优化方法优化设计若干问题优化设计概述优化设计的数学基础一维探索优化方法无约束优化方法约束问题优化方法优化设计若干问题坐标轮换法梯度法共轭方向法鲍威尔法共轭梯度法牛顿法变尺度法无约束优化方法试想一个盲人在山顶，他怎么能够尽快找到山谷的家？1.坐标轮换法(1)算法思想1.将多维问题，降为多个一维问题；2.在一维上可使用黄金分割法等直接采样优化方法；3.轮换地以每一个坐标轴作为一维搜索方向。x1x2X0

2、X1X2X3f(X)=c基于一维搜索的优化过程开始给定x、d的初始值计算a*使f(x+a·d)极小xx+a*d满足收敛条件？形成新的d结束坐标轮换法(2)算法初始化，>0，M（最大迭代次数），n（维度）,k=1,x=x(0).2.对于i=1,2,…,n，进行2.1Si=ei;2.2i=minf(x+Si)2.3x=x+iSi,f=f(x).3.如果

3、iSi

4、<,或者k>M,转步4;否则，k=k+1,转步2。4.输出x,f.结束。一共进行了多少次一维搜索？方向正、负？坐标轮换法(3)举例确定正负方向一维搜索(1

5、)坐标轮换法(3)举例(1)坐标轮换法(3)举例……以上举例是手算实现该算法，用计算机实现时，需用进退法和黄金分割法实现一维搜索。坐标轮换法(4)算法分析对于维数较高的优化问题，搜索时间过长，一般当n>10时，则不应采用此方法。2.算法效率与f(x)形态有关。收敛速度最快收敛速度慢搜索无效基本思想梯度方向是函数值增加最快的方向，而负梯度方向是函数下降最快的方向，所以梯度法以负梯度方向为搜索方向，每次迭代都沿着负梯度方向一维搜索，直到满足精度要求为止。因此，梯度法又称为最速下降法。2.梯度法f(x0)df(x)=2f(x)

6、=1x0f(x)=0设在某次迭代中已取得迭代点X(k)，从该点出发，取负梯度方向为搜索方向S(k)，即：这样，第k+1次迭代计算所得的新点为：上式即为梯度法迭代公式。因为X(k)已知，故和不难求出，只要知道步长后，就可以得到新点X(k+1)。由于每次迭代能保证，如此反复计算，最后总能达到最优点X*。为了使目标函数值在搜索方向S(k)上获得最多的下降，每次迭代都进行一维搜索求最优步长，即求迭代步骤1）任选初始点X(0)，计算精度ε，令k=0；2）计算和；3）收敛判断，A.若，则X(k)为近似最优点，停止迭代，输出最优解：，；

7、B.若，则转下一步继续迭代；4）令5）一维搜索确定最优步长因子，使6）计算；7）令k=k+1，转2）。例1：用梯度法求函数的极小值，初始点，计算精度。一次搜索即可解：（1）如果转（2），否则转（5）。例2.用一阶梯度法求目标函数f(X)=x12+4x22在初始点X(0)=[22]T，迭代精度=10-2下的最优解。（2）（3），并转（1）。（4）第7次迭代后，成立，停止迭代。（5）取时，f(X*)=2.596×10-6≈0比较上面两个例题，能得出什么样的结论？梯度法的特点：负梯度方向只是函数值在点X(k)的邻域内下降最快的

8、方向，离开该邻域以后函数值不一定下降最快。因此，采用负梯度方向，从局部看函数值下降快，从全局看却要走很多弯路。因此，梯度法的收敛速度较慢。梯度法的迭代过程，每相邻两步的搜索方向是垂直的，也就是说梯度法的迭代路线是呈锯齿形前进的。梯度法迭代过程中，当迭代点离理论极小点较远时，一次迭代的函数值下降量大。迭代点离极小点越近，函数值下降的速度就越慢。因此，梯度法常与其它优化方法结合使用。即第一步采用梯度法，后面采用其它的方法确定搜索方向。梯度法的收敛速度与目标函数的性质有关。如果目标函数的等值线（面）为同心圆（球），则无论从哪里出

9、发，只需要一次搜索就能达到极小点。例1情况例2情况1）椭圆的共轭方向3.共轭方向法SiS椭圆的一簇平行弦的中点联系通过圆心。并称中点连线方向S与平行弦方向Si为相互共轭方向（关于椭圆）。2）共轭方向的代数定义定义:设A为n×n阶实对称正定矩阵，而S1、S2为在n维欧氏空间En中的两个非零向量，如果满足式S1TAS2=0则称向量S1与S2关于实对称正定矩阵A是共轭的。共轭是正交关系的推广：当A=I时，共轭就是正交。由A对称正定,得：所以,即共轭是仿射变换Q下的正交.关于二元二次函数Hesse矩阵A共轭的几何意义与正交概念的关

10、系变换前变换后几何定义与代数定义是等价的。设X(1):minf(X1+aSi)X(2):minf(X2+aSi)X(1)=X1+a1SiX(2)=X2+a2SiX(1)X(2)则Si与S=X(2)-X(1)关于A共轭.X1X2SiS关于步长a的导数为0共轭方向法特点：对于二次函数,沿n个共轭方向依次进行