非线性优化问题的信赖域方法研究综述

《非线性优化问题的信赖域方法研究综述》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第!$卷第)期海南大学学报自然科学版*+,(!$-+()!"")年&月!"#$%"&’()*!(*+,$%!"&,-.")!"!$!)/*%’)#0./0(!"")文章编号：$""1#$2!（&!"")）")#"!2!#"’非线性优化问题的信赖域方法研究综述欧宜贵（$海南大学信息科学技术学院，海南海口%2"!!3）摘要：综述了一类重要的求解非线性最优化问题的数值方法———信赖域方法的研究现状及趋势(关键词：非线性最优化；信赖域方法；文献综述中图分类号：4!!1文献标识码：5非线性最优化是!"世纪%"年代发展

2、起来的，它讨论非线性决策问题的最佳选择之特性，构造寻求最佳解的计算方法，研究这些计算方法的理论性质及实际计算表现(随着电子计算机的发展和应用，非线性最优化理论和方法有了很大发展(目前，它已成为运筹学的一个重要分支，并且在自然科学，工程技术，经济管理，系统工程，特别是“优化设计”等诸多领域得到广泛的应用，成为一门十分活跃的学科(非线性优化的传统方法几乎都是线搜索类型的方法［$］，即每次迭代时产生一搜索方向，然后在搜索方向上进行精确的或不精确的一维搜索，以得到下一个迭代点(信赖域方法是一类很新的方法，它和线搜索

3、法并列为目前求解非线性规划的!类主要的数值方法(信赖域方法思想新颖，算法可靠，具有很强的收敛性［$］，它不仅能很快地解决良态问题，而且也能有效地求解病态（6,,78+9:6;6+9/:）的优化问题(因而对信赖域方法的研究是近!"年来非线性规划领域的一个重要的研究方向，是当今寻求如何构造新的优化计算方法的主要途径(信赖域方法的研究起源于<+=/,,$&2"年的工作［!］，他提出了一个求解无约束优化问题的算法，该算法在每次迭代时强制性地要求新的迭代点与当前的迭代点之间的距离不超过某一控制量(引入控制步长是因为传

4、统的线搜索方法常常由于步长过大而导致算法失败，特别是当问题是病态时尤为如此［)］(控制步长实质上等价于在以当前迭代点为中心的一个邻域内对一个近似于原问题的简单模型求极值(这种技巧可理解为只在一个邻域内对近似模型信赖，所以此邻域被称为信赖域（;>?@;>/A6+9）(利用这一技巧的方法也就被称为信赖域法(信赖域的大小通过迭代逐步调节(一般来说，如果在当前迭代模型较好地逼近原问题，则信赖域可扩大，否则信赖域应缩小(后来，人们发现信赖域方法的基本技巧在一定意义下等价于十分著名的求解非线性最小二乘问题的B/C/9D

5、/>A7EF>G?F:［;$］方法(［1］，他在仅假定目标函数连续可微，且$&2%年，<+=/,,给出了信赖域法的第一个收敛性结果"近似海色阵满足!!"!"（#$$#"%$!&’!）的条件下证明了无约束优化的信赖域法的超线收稿日期：!""!#$$#$%作者简介万方数据：欧宜贵（$&’%#），男，湖北钟祥人，海南大学信息科学技术学院副教授，博士(第N期欧宜贵：非线性优化问题的信赖域方法研究综述CHN性收敛性!"#$%&&还在!"是由"’(公式产生时，证明了信赖域法的超线性收敛性!)*+,年，"#$-［.］，他

6、只要求新点是一下降点，收敛是弱意义下的，%&&又在!!"!"#"的假定下证明了收敛性即/01!$"!#（2"#%3）!在要求新点是一足够下降点和其他假定下，’45&6789，(:;<=>和［B］’?40@A%&=(于)*+.年证明了在强收敛意义下的全局收敛性!)*+C年，国际著名优化专家D&%6?4%;=提出了用信赖域法求解复合非光滑优化（?#EF#G/6%［H］，并在模型二次函数的海色矩阵一致有界0#0GE##64#F6/E/7@6/#0）问题，他给出了一个模型算法的假定下证明了该算法的全局收敛性!关于非

7、光滑优化的信赖域方法的收敛性研究，我国优化专家袁亚湘研究员得到了一系列在国际上多次被引用的结果，他在仅要求近似海色阵满足!!"!"#"的假定下证明了一大类非光滑优化的信赖域方法的全局收敛性［+］［*］，指出!此外，他在)*+,年构造出一个极大极小问题一类非光滑优化的信赖域方法无论!"怎样选取也仅有线性收敛速度!为了克服这一类似于I@;#6#G效应的现象，须对算法进行修正!其中方法之一是基于D&%6?4%;=提出的二阶校正步信赖域法［)2］!该方法基本上和它的模型信赖域算法一样，只是在一些迭代中需另外求解一个

8、二阶校正子问题!关于有二阶校正步的信赖域方法的超线性收敛性的证明由袁亚湘于)*+.年给出［))］，并且他还指出，如果J@K;@0K%乘子的估计较好，则该方法还是二次收敛的!以上所述的关于无约束优化的信赖域方法的研究工作都是基石性的!有关这方面的其他研究工作都是它们的推广或更进一步的研究!这些研究工作可参阅文献［)CL)B］!信赖域方法应用到约束优化的一个明显困难是线性化的约束在信赖域区域内可能无解!于是不可能像线