非线性规划多维无约束优化

《非线性规划多维无约束优化》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第六章非线性规划多维无约束非线性优化概述多维无约束优化问题是指在没有任何限制条件下寻求目标函数的极小点。其表达形式为：研究无约束优化问题的意义：在求解有约束优化问题的解时，有一大类解法是通过对约束条件的处理，把有约束问题变成一系列无约束的问题进行求解。研究无约束优化问题的解，也为研究约束优化问题的解法打下基础；在实际问题中，某些实际问题的数学模型本身也可能是一个无约束优化问题。在研究最优化问题时，通常首先要研究无约束问题的最优化问题。无约束优化问题求解的方法有多种，它们的主要不同点在于如何构造搜索方向。最速下降法基

2、本思想最速下降法由法国数学家Cauchy于1847年首先提出。该算法在每次迭代中，沿最速下降方向（负梯度方向）进行搜索，每步沿负梯度方向取最优步长，因此这种方法称为最优梯度法算法特点最速下降法方法简单，只以一阶梯度的信息确定下一步的搜索方向，收敛速度慢；越是接近极值点，收敛越慢它是其它许多无约束、有约束最优化方法的基础。该法一般用于最优化开始的几步搜索。最速下降法算法分析最速下降法最速下降法由初始点向最优点迭代过程示意图最速下降法算法步骤最速下降法最速下降法的特点牛顿法概述为了寻找收敛速度快的无约束最优化方法，我们考

3、虑在每次迭代时，用适当的二次函数去近似目标函数，并用迭代点指向近似二次函数极小点的方向来构造搜索方向，然后精确地求出近似二次函数的极小点，以该极小点作为的极小点的近似值．这就是Newton切线法的基本思想，它是Newton切线法的推广牛顿法算法分析牛顿法迭代步骤牛顿法例1用牛顿法求函数的极小点牛顿法牛顿法的收敛性质阻尼牛顿法算法思想在牛顿法的实际操作中必须要选择一个具有较优目标值的初始点，但这往往是困难的。为了克服这个缺点，人们提出了“阻尼牛顿法”对此进行修正。阻尼牛顿法迭代步骤阻尼牛顿法收敛性质阻尼牛顿法例1利用阻

4、尼牛顿法求解非线性规划问题取初始点，则利用牛顿法和阻尼牛顿法求解二次型共轭方向法基本思想共轭方向法理论基础共轭方向法共轭的性质共轭方向法原理共轭方向法迭代步骤共轭梯度法基本思想共轭梯度法迭代步骤共轭梯度法FR公式共轭梯度法PRP公式和DM公式与FR公式类似，我们还还可以采用Polak-Ribilere-Polyak(PRP)公式和Dixon-Myers公式。其形式分别为FR、PRP、DM这三个公式对于二次型函数问题的求解效果相同，对于非二次型函数在数值计算上会有差异，结果也会有所不同。共轭梯度法例1利用FR法求解无约

5、束非线性规划问题拟牛顿法什么是拟牛顿法拟牛顿法的优点仅需一阶导数（牛顿法需二阶导数）保持正定，使得方法具有下降性质每次迭代需次乘法运算（牛顿法需次乘法运算）搜索方向是相互共轭的，从而具有二次终止性变尺度算法概述变尺度法又称Davidon-Fletcher-Powell(DFP)算法，这是因为该算法在1959年由Davidon提出，后来经Fletcher和Powell解释并改进而得名。它是变尺度算法中提得最早的一个，该算法超线性收敛，对解多元函数的无约束极小是一个比较好的方法。该算法属于拟牛顿法的一种，变尺度法是求解无

6、约束极值问题的一种有效方法，由于它避免了计算二阶导数矩阵及其求逆计算，又比梯度法的收敛速度快，特别是对高维问题具有显著的优越性，因而使变尺度法获得了很高的声誉，被称之为在算法上有“突破”。例如在1962年以前，由于原有各种算法计算耗时太多，因而求解非线性函数的极小值一般只能计算10个变量以下的问题，而应用了DFP法，可以在几分钟内计算出100个变量的函数极小值，有的问题只用半分钟即可解出。而相应的问题用其它算法求解，则要30分钟才能解出。变尺度法和共轭梯度法一样，都是为了克服梯度法收敛慢和Newton法计算工作量大的

7、缺点而提出来的一种算法。变尺度算法基本思想变尺度算法DFP算法BFGS算法变尺度算法迭代步骤变尺度算法例1利用变尺度算法求解无约束非线性规划问题变尺度算法变尺度算法变尺度算法变尺度算法和共轭梯度法的统一多维无约束优化的求解函数fminunc概述MATLAB优化工具箱中提供了多维无约束非线性优化的求解函数fminunc，在MATLAB的该求解函数中运用到了我们前面提到的多种算法，例如利用梯度信息或者Hessian矩阵信息的迭代算法，或者如果用户不提供梯度信息的话，可能使用到有限差分形式去估计相应值的方法。在下面函数使用

8、过程中的算法和参数的设置时，将会重点讲述这些问题调用格式：x=fminunc(fun,x0)x=fminunc(fun,x0,options)x=fminunc(problem)[x,fval]=fminunc(...)[x,fval,exitflag]=fminunc(...)[x,fval,exitflag,output]=fminunc(