无约束优化算法比较及其极值点研究

《无约束优化算法比较及其极值点研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第２８卷第４期四川理工学院学报（自然科学版）Ｖｏｌ２８Ｎｏ４２０１５年８月ＪｏｕｒｎａｌｏｆＳｉｃｈｕａｎＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅ＆Ｅｎｇｉｎｅｅｒｉｎｇ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ）Ａｕｇ２０１５文章编号：１６７３１５４９（２０１５）０４００８９０６ＤＯＩ：１０．１１８６３／ｊ．ｓｕｓｅ．２０１５．０４．１９无约束优化算法比较及其极值点研究１２毛巍，兰恒友（１．四川理工学院理学院，四川自贡６４３０００；２．企业信息化与物联网测控技术四川省高校重点实验室，四川自贡６４３０００）摘要：求解无约束优化问题是数值计算方面的重要研究内容，求

2、解无约束优化问题的方法较多，选择一种较为快速且复杂度较小的方法具有重要意义。介绍无约束优化问题中７种算法的基本思想和具体步骤，并结合ＭＡＴＬＡＢ软件编程仿真，依据定量分析对仿真结果进行对比分析，对这７种算法的优缺点和极限点的收敛情况进行对比研究，并且根据其收敛迭代次数和数值计算结果精确度确定一个相对有效的算法。关键词：无约束优化算法；算法分析；迭代收敛；极限点比较中图分类号：Ｏ２２４文献标志码：Ａ题有单纯形算法这一通用方法。解非线规划问题到目引言前为止，还没有建立起适用于各种问题的一个通用算法随着计算机近３０年的发展，最优化方法发展成为对非线性规划问题是普遍有效的。各个方法

3、都有自己数学应用领域一个重要的分支。至于“最优”的解释，就特定的适用范围，因而这是需要人们深入研究的一个领是将某一事件发展为最好的状态。如今，无论人们从事域。但由于很多问题需要进一步精确化，以及计算机的各种活动，都希望能使所要从事的活动达到自己想要的发展，使非线性规划在近３０年得到迅速的发展，开始形理想状态。在现实生活中广泛存在着最优化问题。而成最优化问题的一个重要分支，有广泛的应用，特别是［２］将最优化问题转化为比较容易解决的数学类问题，并快为最优化设计提供数学理论基础。速找出最优解的数学方法就是最优化方法。求解目标对于这些方法，可以大致归类为三大类方法：最速函数极大值极

4、小值问题是数学上的一类问题，并且这也下降法、牛顿法及拟牛顿法。根据这三大类方法，不同［３］是最优化问题。因此求解最优化问题的最优化方法是研究方向的研究者都有很多研究结论。ＦｖｉｅｇｅＪ等于一种数学类方法，而不是工程类方法，其重要意义体现２０００年对最速下降法进行了分析和完善，并结合众多学在不仅在经济管理学、运筹学和系统工程等数理学领者的研究，总结出最速下降法收敛速度慢以及通常在计［４］域，而且也日益广泛地应用在其他领域（如工程设算过程前期迭代或者期间插步骤适用。牛顿法是一［１］计）。种求解无约束最优化问题的经典方法，但其存在的不足非线性最优化，或者说非线性规划，是至少有一个

5、（例如Ｈｅｓｓｅ矩阵的可逆性）也令其进行不断完善，比如［５］含有自变量的非线性函数存在于要求解的最优化问题ＪｏｓｅｐｈＷ等研究出牛顿法和最速下降法的组合方法。的约束条件和目标函数中。所以相对应的要用非线性拟牛顿法，类似于最速下降法，具有牛顿法的快速收敛规划方法求解非线性规划问题。而且相比求解线性规性，是一种较为有效的求解最优化问题的方法，并且依划问题，其求解难度更大，因为其不同于解线性规划问据其算法思想，研究者将拟牛顿法细分为几种算法收稿日期：２０１５０６０５基金项目：四川理工学院科研项目（２０１５ＲＣ０７）；企业信息化与物联网测控技术四川省高校重点实验室开放基金项目（

6、２０１３ＷＺＪ０１）作者简介：毛巍（１９９１），女，四川眉山人，硕士生，主要从事最优化方法方面的研究，（Ｅｍａｉｌ）ｍｗｓｕｓｅ＠１２６．ｃｏｍ９０四川理工学院学报（自然科学版）２０１５年８月［６］（ＢＦＧＳ和ＳＲ１等），王宜举等在非线性规划与算法中步１若ｇｋ≤ε，停止计算，并将ｘｋ作为极小点的近详细讨论了几种常见的拟牛顿法。似点。本文考虑如下无约束优化问题：步２计算搜索方向ｄｋ＝－Ｈｋｇｋ。Ｍｉｎｎｆ（ｘ）步３依据线搜索技术来选取步长因子ａｋ。ｘ∈Ｒ求解这类无约束优化问题的算法很多，包括使用导步４令ｘｋ＋１∶＝ｘｋ＋ａｋｄｋ，确定对称正定矩阵Ｈｋ＋１，数的算法以及不使

7、用导数的算法。本文主要研究的算（ｓ－Ｈｙ）（ｓ－Ｈｙ）ＴｋｋｋｋｋｋＨ＝Ｈ＋ｋ＋１ｋＴ法为最速下降法、阻尼牛顿法、修正牛顿法、对称秩１算（ｓｋ－Ｈｋｙｋ）ｙｋ法（ＳＲ１）、ＢＦＧＳ算法、ＤＦＰ算法和Ｂｒｏｙｄｅｎ族算法，运用步５令ｋ∶＝ｋ＋１，转步１。ＭＡＴＬＡＢ软件对算法进行编程，详细介绍了７种算法的（２）ＢＦＧＳ算法步骤［２，１０］算法思想和算法步骤，并对各种算法的计算过程和结果步０给定参数δ∈（０，１），σ∈（０，０５），初始点进行分析，总结各类算法的优缺点，并比较算法优劣，最ｘ∈Ｒｎ，终止误差０≤ε１，