《最优化设计》PPT课件.ppt

《《最优化设计》PPT课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章无约束优化方法4-1概述4-2最速下降法4-3牛顿型方法4-4共轭方向及共轭方向法4-5共轭梯度法4-6变尺度法4-7坐标轮换法4-8鲍威尔法4-9单形替换法1最优化设计/无约束优化方法§4-1概述无约束优化方法只考虑搜索的适行性，结合罚函数法，也可解约束优化问题。目前，成熟可靠的优化算法中，无约束优化方法占多数，总体上无约束优化方法的有效性及实用性都优于约束优化方法。无约束优化方法可分为两大类：1)不求导数的直接法，主要有随机方法和直接搜索方法；2)求导数的间接法，按所求导数的最高阶数又可分为一阶方法和二阶方法。

2、二阶方法很少采用。图4-1为无约束极小化算法的粗框图。在§1-4中已给出了优化算法的一般搜索迭代公式xk+1=xk+xk(1－15)xk+1=xk+kdk(1－16)注意，在搜索迭代中，由于一维搜索需增加大量计算，因此，并不是所有优化方法都采用一维搜索。2最优化设计/无约束优化方法§4-2最速下降法(1)最速下降法以负梯度方向作为搜索方向并作一维搜索，因此又称为“梯度法”，属于求导数的间接法。它的基本思想早在1847年就已提出。尽管它本身不再被认为是一种有效的方法，但它是许多优化方法尤其是二次收敛方法的基础。各点的梯

3、度一般各不相同，因此“最速下降方向”仅对某一点附近而言，它具有局部性质。如图4-2所示，当作一维搜索时，搜索方向是与目标函数等值线相切的，而切点的梯度方向是与等值线正交的。因此，相邻两次搜索方向相互垂直，搜索路径呈严重的“之”字形，特别是目标函数接近二次型时更为明显。可以利用梯度矢量在极值点为零这一重要性质设立收敛准则f(x*)3最优化设计/无约束优化方法§4-2最速下降法(2)或数值微分数值微分在优化中是一个非常重要的问题，对优化结果影响较大。具体作法是用代替，其中f=ff0式中，f0=f(x0)，

4、是计算偏导数那点x0处的目标函数值；f=f(x)=f(x1,x2,···,xi+xi,···,xn)，是其它变量保持不变，xi变化为xi+xi时的目标函数值。xi=0.001(uili)ui和li分别为变量xi的估计上限和下限。尽可能接近，xi应取得小一些，但过小又为使会引起舍入误差。一般可取4最优化设计/无约束优化方法§4-2最速下降法(3)例4-1(图4-3)求f(x1,x2)=x12+25x22的极小点。取初始点x0=[22]T，则f(x0)=104f(x0)=[4100]T沿负梯度即[-4-100]T

5、方向进行一维搜索，有x1=x00f(x0)=[22]T0[4100]T=[24021000]T在x1点f(x1,x2)=(240)2+25(21000)2=(0)令’(0)=0，有2(240)(-4)+50(21000)(-100)=-16+32010000+5000000=500032010016=00=0.020030718得到第一次迭代的结果：x1=[24021000]T=[1.919877-3.0718034-2]Tf(x1)=3.686164经

6、过十次迭代，得到最优解：x*=[00]Tf(x*)=05最优化设计/无约束优化方法§4-2最速下降法(4)图4-3表示例4-1的搜索路径，目标函数等值线为椭圆。若进行代换y1=x1y2=5x2则f(x1,x2)变为(y1,y2)，等值线为一族同心圆。因为圆上任一点的负梯度方向都指向圆心，因此沿负梯度方向经过一次一维搜索即可找到最优点。图4-5为最速下降法的程序框图。6最优化设计/无约束优化方法§4-3牛顿型方法(1)牛顿法是用目标函数二阶偏导数的间接方法，因类似于解非线性方程的牛顿法而得名，又叫“二阶导数法”、“拟线性

7、法”。将目标函数泰勒展开，保留到二次项，原目标函数就转变为下列二次型函数：f(xk)+2f(xk)(x*xk)=0对于二次型函数，从理论上来说，牛顿法从任选初始点一步就能收敛到最优点。但对于目标函数不是二次型，或计算机截断误差的影响，往往需要多次迭代才能得到最优点。牛顿法的迭代公式为：xk+1=xk[2f(xk)]-1f(xk)(k=0,1,2,···)2f(xk)为f(x)在xk点处的海赛矩阵。f(x)(x)=f(xk)+f(xk)T(xxk)+(xxk)T2f(xk)(xxk)为求极值点，

8、对上式求偏导数，并令=0，得到7最优化设计/无约束优化方法§4-3牛顿型方法(2)为防止牛顿法收敛到极大点而不是极小点，可在迭代过程中作一维搜索，形成改进的牛顿法—“阻尼牛顿法”，其程序框图见图4-6。牛顿法的最大缺点是需要计算海赛矩阵，并求其逆矩阵，计算量很大。例4-2用牛顿法求f(x1,x2)=x12+25x22