无约束优化算法--最速下降法

《无约束优化算法--最速下降法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、无约束优化算法无约束优化算法问题，是指优化问题的可行集为，无约束的标准形式为：1.最优性条件（1）极小值点的一阶必要条件设为连续可微函数，如果为局部极小值点，则为驻点，即梯度。（2）极小值的二阶必要条件设为二阶连续可微函数，如果为局部极小值点，则为驻点，即梯度，二阶半正定。（3）极小值点的二阶充分条件设为二阶连续可微函数，如果梯度，二阶正定，则为的局部极小值点，。以上三个定理为搜索最优点以及判断一个点是否为最优点的基本依据。经典的优化算法的停止条件为，例如在程序中，即在导数范数小于某特定误差限时停

2、止。误差限较大，则算法迭代次数减少，计算时间缩短，但解得质量降低；误差限较小，则算法迭代次数增加，计算时间增加，但解的质量提高；误差限一般为，可以根据实际情况设定合适的误差限。当然，还有极小值点的二阶必要条件与极小值点的二阶充分条件，对的判断，由于目标函数比较复杂，二阶导数矩阵的计算量极大，所以一般算法都在迭代过程中对进行修正，得到，在修正的过程中始终保持的正定性，以此方法解决极小值点的二阶条件问题。2.最速下降法2.1算法原理最速下降法是早期的优化算法，其理论根据函数的一阶泰勒展开：由得到根据下

3、降要求故实际中要求根据上式选取合适的，得。最速下降法取。由于近似的有：取，则由知：最速下降法有全局收敛性，并且是线性收敛的，算法比较简单。一般来说，在实际计算中，最速下降法在开始迭代时效果较好，有时能很快地找到最优解得附近，但是当局继续迭代时，常常发生扭摆现象，以致不能达到最优解。1.1算法步骤给定控制误差。步骤1：取初始点，令步骤2：计算。步骤3：若，则，停止计算；否则，令，由一维搜索步长，使得步骤4：令，，转步骤2。MATLAB中实现最速下降法的函数为，函数是求解无约束优化问题的主要函数，最速

4、下降法仅仅是函数所使用的算法之一。语法：输入参数：：目标函数，一般用M文件形式给出：优化算法初始迭代点：参数设置函数输出：：最优点输出：最优点对应的函数值：函数结束信息：函数基本信息，包括迭代次数、目标函数最大计算次数、使用的算法名称、计算规模。：最优点的导数：最优点的二阶导数1.1程序示例MATLAB函数使用方法：1.目标函数程序与2.参数设置（）：大规模计算模式关闭：阵修正方式，采用最速下降法（不需要修正）：目标函数导数解析式，使用，不使用：最大目标函数计算次数，250次：显示迭代过程1.函数

5、计算：初始迭代点2.计算结果First-orderIterationFunc-countf(x)Step-sizeoptimality01267.621.23e+00312214.4160.000813405519295.836390.0009849313.43155.782920.0005673051.584185.731270.038797912.95245.680230.0005837361.596275.630810.036759912.57335.58190.0006002911.683

6、65.534440.034948212.19425.487430.0006170091.6110455.441730.033324511.711515.396410.0006339251.6212545.352280.031858711.313605.308490.0006510741.6314635.265790.03052711115695.223380.0006684871.6416725.181970.029310610.717785.140820.0006861941.6418815.1

7、00590.028193710.419875.060580.0007042251.65First-orderIterationFunc-countf(x)Step-sizeoptimality20905.021440.027163510.121964.982490.0007226091.6622994.944330.02620959.89231054.906350.0007413761.67241084.869120.02532289.65251144.832040.0007605541.6826

8、1174.795660.02449589.42271234.75940.0007801741.69281264.723810.0237229.2291324.688330.0008002671.7301354.653470.0229968.99311414.618710.0008208661.7321444.584530.0223138.79331504.550430.0008420021.71341534.51690.02166898.6351594.483430.0008637