无约束优化方法总结

《无约束优化方法总结》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第四章无约束优化方法第一节概述1为什么要研究无约束优化问题？(1)有些实际问题，其数学模型本身就是一个无约束优化问题。(2)通过熟悉它的解法可以为研宄约束优化问题打下良好的基础。(3)约束优化问题的求解可以通过一系列无约束优化方法来达到。所以无约朿优化问题的解法是优化设计方法的基木组成部分，也是优化方法的基础。2各种无约束优化方法的区别在于确定其搜索方向，的方法不同。根据构成搜索方向所使用的信息性质的不同，无约束优化方法可以分为两类。-：间接法——要使用导数的无约朿优化方法，如梯度法、(阻尼)牛顿法、变尺度法、共轭梯度法等。二：直接法_只利用目标函数值的无约束优化问题，如坐标

2、轮换法、鲍威尔法单纯形法等。第二节最速下降法(梯度法)1基木思想：函数的负梯度方向是函数值在该点下降最快的方向。将n维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题，利用负梯度作为搜索方向，故称最速下降法或梯度法。2梯度法的特点：(1)理论明确，程序简单，对初始点要求不严格。(2)对一般函数而言，梯度法的收敛速度并不快，因为最速下降方向仅仅是指某点的一个局部性质。(3)梯度法相邻两次搜索方向的止交性，决定了迭代全过程的搜索路线呈鋸齿状，在远离极小点时逼近速度较快，而在接近极小点时逼近速度较慢。(4)梯度法的收敛速度与目标函数的性质密切相关。对于等值线(面)为同心圆(球)

3、的目标函数，一次搜索即可达到极小点。3选用原则及条件：一般与其他算法配合，在迭代开始时使用。第三节牛顿型方法1基木思想：在i邻域内用一个二次函数时%)来近似代替原目标函数，并将糾%)的极小点作为对目标函数/(x)求优的下一个迭代点分+1。经多次迭代，使之逼近目标函数/(X)的极小点。2牛顿型方法的特点：(1)初始点应选在X*附近，有一定难度；(2)若迭代点的海赛矩阵为奇异，则无法求逆矩阵，不能构造牛顿法方向；(3)不仅要计算梯度，还要求海赛矩阵及其逆矩阵，计算量和存储量大。此外，对于二阶不可微的也不适用。虽然阻尼牛顿法有上述缺点，但在特定条件下它具有收敛最快的优点，并为其他的

4、算法提供了思路和理论依据。3选用原则和条件：该方法适用于目标函数具有一阶、二阶偏导数，海森矩阵非奇异，维数不太高的场合。第四节共轭方向及共轭方向法1共轭方向：设G为nxZ7阶实对称正定矩阵，如果有两个A2维向量6/0和6/1满足=0则称向量6/0与6/1关于矩阵G共轭。2共轭方向的性质：性质1若非零向量系是对G共轭，则这m个向量是线性无关的。性质2在n维空间中互相共轭的非零向量的个数不超过zt。性质3从任意初始点出发，顺次沿/2个G的共轭方向W1,必，...，进行一维搜索，最多经过a：次迭代就可以找到的二次函数/%）极小点。第五节共轭梯度法1共轭梯度法是共轭方向法中的一种，该

5、方法中每一个共轭向量都是依赖于迭代点处的负梯度而构造出来。2共轭梯度法的特点：优点：程序简单，存储量少，具有最速1降法的优点，而在收敛速度上比最速下降法快，具有二次收敛性。3选用原则及条件：适用于维数较高（50维以上）、一阶偏导数易求的优化问题。共轭梯度法在第一个搜索方向取负梯度方向，而其余各步的搜索方向将负梯度偏转一个角度，即对负梯度进行修正，实质上是对最速下降法的改进。在n次迭代后如果没有达到收敛精度，则通常以重置负梯度方向开始，直到满足精度为止。第六节变尺度法1基木思想：变量的尺度变换是放大或缩小各个坐标。通过尺度变换可以把函数的偏心程度降到最低限度。2DFP法的特点：

6、基于牛顿g的思想乂作了重要改进。这种算法仅用到梯度，不必计算海赛矩阵及其逆矩阵，但又能使搜索方向逐渐逼近牛顿方向，具有较快的收敛速度。这种算法用于高维问题（如20个变量以上）。3选用原则及条件：适用于求解维数较高（10具有一阶偏导数的无约束优化问题）被认为是目前最成功的变尺度法。第七节坐标轮换法（变量轮换法）1基本思想：每次以一个变量坐标轴作为搜索方向，其余变量保持不变，即沿坐标方向轮流进行搜索。把多变量的优化问题轮流的转化为单变量的优化问题。2绝标轮换法的特点特点：坐标&换法是i简i的直接优化方法之一，方法易懂，程序简单，无需求导,计算费用低。但可靠性差、效率低，当0标函数

7、等值线具冇脊线形态吋可能失败。该方法适用于目标函数导数不存在或不易求得、维数较低（一般，1<5）的情况。从坐标轮换法的迭代过程可以看出其探索路线较长，而且显然是问题的维数愈多求最优解得效率愈低。3选用原则及条件：对设计变量少的最优化问题有效，对设计变量较多的问题则不太适用。第八节鲍威尔方法（方向加速法）1基本思想：鲍威尔法是以共轭方向为基础的收敛较快的直接法之一，是一种十分有效的算法。直接利用迭代点的目标函数值来构造共轭方向，然后从任一初始点开始，逐次沿共轭方向作一维搜索求极小点。2鲍威尔法的特点：该方