第四章无约束优化设计.ppt

《第四章无约束优化设计.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章无约束优化方法第四章无约束优化方法求解无约束优化问题:min的数值迭代法，称无约束优化方法。它也是构成约束优化方法的基础算法。无约束优化问题的下降迭代解法具有统一的迭代格式，其基本问题之一就是选择搜索方向。由于构成搜索方向的方式不同，形成了各种不同的无约束优化算法。利用目标函数的一阶导数或二阶导数信息构造搜索方向的方法称为导数法（如：梯度法、牛顿法、变尺度法和共轭梯度法），其收敛性和收敛速度都比较好，使用较广。模式法是通过几个已知点上函数值的比较构造搜索方向的一类算法，其迭代次数较多，收敛速度较慢。4-1梯度法梯度法是一种古老的优化方法，它的迭代方向是由迭代点的负梯度

2、构成的。由于负梯度方向函数值下降得最快的方向，故此法也称为最速下降法。梯度法的迭代算式为：或式中称为最优步长因子，由一维搜索确定，即：根据极值的必要条件和复合函数的求导公式：对于简单的问题，上式可以直接求出最优步长因子，进而求出一维极小点从上式还可以得出：即相邻两个迭代点的梯度是彼此正交的。这就意味着梯度法向极小点的逼近路径是一条曲折的锯齿状路线，越接近极小点，锯齿越细，前进的速度越慢。梯度法只具有线性收敛性4-1梯度法梯度法的迭代路线对于等值线为同心圆（或等值面是同心球）的目标函数，无论从任何初始点出发，一次搜索即可达到极小点。4-1梯度法梯度法的迭代步骤：（1）给定初始

3、点和收敛精度，置；（2）计算梯度，并构造搜索方向：（3）一维搜索，求新的迭代点：（4）收敛判断：若满足，则令最优解为否则，令：转（2）继续迭代。4-1梯度法例题：用梯度法求解无约束优化问题，已知：(1)第一次迭代求梯度:搜索方向:新的迭代点与函数值:对这种简单问题，可以直接用解析法求步长因子的极小值。4-1梯度法令:收敛判断：应继续迭代(2)第二次迭代得:4-1梯度法令:收敛判断：应继续迭代得:最后结果：4-1梯度法MATLAB优化函数fminunc调用：functionf=objfun(x)f=x(1)^2+2*x(2)^2-2*x(1)*x(2)-4*x(1)目标函数>

4、>x0=[1,1];%Startingguessoptions=optimset('LargeScale','off');[x,fval,exitflag,output]=fminunc(@objfun,x0,options)窗口命令4-1梯度法Optimizationterminatedsuccessfully:Searchdirectionlessthan2*options.TolXf=-8x=4.00002.0000fval=-8exitflag=1output=iterations:3funcCount:16stepsize:1.0000firstorderopt:

5、0algorithm:'medium-scale:Quasi-Newtonlinesearch'计算结果4-1梯度法牛顿法也是一种经典的优化方法，它的搜索方向是根据目标函数的负梯度和二阶导数矩阵构造的，分基本牛顿法和阻尼牛顿法两种。4-2-1基本牛顿法将目标函数在点处展开成二次近似式：对上式求梯度，并设是函数的极小点得：令：有：4-2牛顿法用基本牛顿法求解正定二次函数时，无论从哪个初始点出发，一次计算即可达到极小点。对于非正定函数，不能始终保持函数的下降性，基本牛顿法可能失效。4-2-2阻尼牛顿法基本牛顿法的缺陷可以通过在迭代中引入步长因子和一维搜索加以解决。阻尼牛顿法具有

6、二阶收敛性。是所有无约束优化方法中收敛性最好的算法。但每次迭代需要计算二阶导数矩阵及其逆阵，计算量较大，所以很少直接使用。4-2牛顿法阻尼牛顿法的迭代步骤：（1）给定初始点和收敛精度，置（2）计算函数在点上的梯度、二阶导数矩阵及其逆矩阵；（3）构造搜索方向（4）沿搜索方向作一维搜索：（5）收敛判断：若满足，则令最优解为否则，令：转（2）继续迭代。4-2牛顿法例题：用牛顿法求解无约束优化问题，已知：（1）给定初始点和收敛精度，置（2）计算函数在点上的梯度、二阶导数矩阵及其逆矩阵；（3）构造搜索方向4-2牛顿法（5）收敛判断：最优解为：（4）沿搜索方向作一维搜索：对求导：得：因

7、为目标函数是正定二次函数，所以只需要一次计算4-2牛顿法对目标函数作适当的变换，可以改善函数的性态，从而改进优化算法的收敛性。变尺度法就是对变量进行尺度变换构造的一类优化算法。它的搜索方向在计算中以递推形式逐步逼近牛顿方向，而不需要计算函数的二阶导数矩阵及其逆矩阵。它具有超线性收敛速度。4-3-1变尺度矩阵函数在一点的二阶导数矩阵为正定时，其泰勒二次展开式的等值线为一族同心椭圆或同心椭球：引入变换矩阵：代入上式4-3变尺度法因是正定矩阵，由线性代数知，必有矩阵使代入上式：上式中只包含了变量的二次项和一次项，采用坐标