无约束优化法.doc

《无约束优化法.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章无约束优化法l概述l梯度法l牛顿法l共轭梯度法l坐标轮换法l鲍威尔法概述无约束优化问题的一般形式：求设计变量使目标函数，对没有任何约束条件。工程实际问题中，无约束结构优化问题很少，多数是有约束条件的。学习无约束结构优化原因：1）工程也有少量无约束结构优化问题，其数学模型就是无约束优化问题，除了在非常接近最小点的情况下，可以按无约束问题处理；2）为研究约束优化问题打下基础；3）约束优化问题可以通过一系列无约束方法达到。无约束优化问题的求解，可以直接应用函数极值问题的求解方程：的问题，即求，使其满足：个方程组，一般为非线性的，很难用解析方法求解，一般采用数值方法

2、。与其用数值方法求解非线性方程组，倒不如用数值方法直接求解无约束极值问题。数值方法最常用的就是搜索法，其基本思想：从给定的初始点出发，按照一定原则寻找搜索方向，沿方向进行搜索，确定最佳步长，使得函数沿方向下降最快，依次形成迭代公式：各种无约束优化方法的区别在于确定搜索方向的方法，这是无约束优化方法的关键。根据构成搜索方向所使用的信息不同分为：（1）间接法利用目标函数的一阶或二阶导数，如梯度法（最速下降法）、牛顿法、共轭梯度法和变尺度法；（1）直接法直接利用目标函数，如坐标轮换法、鲍威尔法和单形替换法。梯度法最早由1847年柯西提出，是无约束优化的基本方法。其基本思

3、想：取目标函数的负梯度方向作为迭代的搜索方向，必使函数值下降的速度最快。设在第次迭代中取得迭代点，从该点出发，取负梯度方向:为搜索方向，式中：第次得到的新点：一般步长常采用沿负梯度方向做一维搜索：算法特点：初始阶段改进较快，最优解附近改进较慢。具体迭代步骤：1.选择初始点及迭代精度，令迭代次数；2.计算点的梯度及梯度的模，并令3.判断是否满足收敛精度。一般情况下，若，则为近似最优点，为近似最优值，可以输出最优解，，否则进行4.4.从点出发，沿负梯度方向求最优步长，及沿进行一维搜索，求得使函数下降最多的步长因子1.确定新的近似点，此点也就是下次迭代的出发点令，转入2

4、步。例题：梯度法的特点：1.理论明确，方法简单，概念清楚，计算量小，对初始点没有严格要求。2.相邻两次迭代的梯度方向是相互正交的，搜索线路呈直角锯齿形，越靠近极小点，搜索密度越大，收敛越慢。3.迭代次数与目标函数等值线的形状有关，目标函数若为椭圆族越扁，迭代次数越多，搜索到最优点的难度越大。4.习题一：试用梯度法求目标函数的极小值，设初始点，。习题二：试用梯度法求目标函数的最优解。初始点，迭代精度。牛顿法牛顿法的基本思想就是利用二次函数来代替原目标函数，以二次函数的极小点作为原目标函数的极小点的近似，并逐步逼近该点。设一般目标函数具有一、二阶偏导数，此时，在处做泰

5、勒展开并取值二次项，得：其中为在的海森矩阵，是对称方阵。求的极小问题转换为的极小值问题。令，即：若为正定，解得：由于在极小点附近，作为极小点的下一个近似点其中：搜索方向步长恒为1。例题：以上例子说明，牛顿法比最速下降法收敛快习题三：用牛顿法求目标函数的极小点和极小值。取初始点习题四：用牛顿法求的最优解，取初始点，迭代精度。修正牛顿法其步牛顿法特点如果是对称正定矩阵A的二次函数，则用牛顿法经过一次迭代，就可达到最优点,如不是二次函数，则牛顿法不能一步达到极值点，但由于这种函数在极值点附近和二次函数很近似，因此牛顿法的收敛速度还是很快的。牛顿法的收敛速度虽然较快，但要

6、求海森矩阵要可逆，要计算二阶导数和逆矩阵，就加大了计算机计算量和存储量。习题五：用阻尼牛顿法求函数的最优解，取初始点，迭代精度。共轭方向法和共轭梯度法共轭方向概念共轭方向的概念是在研究二次函数过程中引出的。考虑二维情形，如果按最速下降法，选择负梯度方向为搜索方向，会产生锯齿现象；为避免锯齿的发生，取下一次的迭代搜索方向直接指向极小点，如果选定这样的搜索方向，对于二元二次函数只需进行两次直线搜索就可以求到极小点。初选初始点沿某个下降方向做一维搜索，得是沿方向搜索的最佳步长，即在点处的函数沿方向的方向导数为零。考虑到点处方向导数与梯度之间的关系，有：为避免锯齿现象，下

7、一次迭代搜索方向指向极小点其中为方向的最佳步长。这样的满足什么条件？对于二次函数在处取得极小点的必要条件：即：上式两边左乘得：满足上式的两个量和称为的共轭向量，或称和对是共轭方向。G是n×n对称正定矩阵，方向向量d1,d2,···,dm的m≤n.如果：称方向向量d1,d2,···,dm关于G的共轭方向共轭方向性质：1），，。。。关于共轭，这些向量是线性无关的；2）在N维空间中相互共轭的向量个数不超过N个；3）若是单位矩阵，则，，。。。相互垂直正交；共轭方向法步骤：1.选定初始点，下降方向和收敛精度，迭代次数；2.沿方向进行一维搜索，得；3.判断是否满足，若满足则打

8、印输出；否