最速下降法原理及其算法实现

《最速下降法原理及其算法实现》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、本科毕业论文（设计）模板课程论文论文题目：最速下降法原理及其算法实现课程名称：现代信号处理新方法学院：自动化学院专业班级：控制科学与工程1班学号：2111304092姓名：严春景任课教师：谢胜利2014年6月20日最速下降法原理及其算法实现内容摘要摘要：基于最速下降法在解决无约束非线性规划问题中的重要性，对其原理与算法予以讨论。论文主要是参阅大量数学分析和运筹学书籍以及一些学术资料，结合自己在平时学习中掌握的知识，并在指导老师的建议下，针对最速下降法的基本思路和原理进行研究。关键词：运筹学最速下降法无约束梯度法最优

2、解Thesteepestdescentmethod,principleanditsalgorithmAbstractBasedonthesteepestdescentmethodinsolvingunconstrainednonlinearprogrammingproblem,theimportanceoftheprincipleandthealgorithmisdiscussed.Papermainlyrefertoamathematicalanalysisandoperationsresearchbooksan

3、dsomeacademicmaterial,usuallyinthestudyofknowledgeandmasteryinteacher'ssuggestion,thesteepestdescentmethodaccordingtothebasicideasandprincipleswerestudied.Keywords：operationalresearchsteepestdescentmethodUnconstrainedgradientmethodoptimalsolution序言最速下降法又称为梯度法，

4、是1847年由著名数学家Cauchy给出的，它是解析法中最古老的一种，其他解析方法或是它的变形，或是受它的启发而得到的，因此它是最优化方法的基础。作为一种基本的算法，他在最优化方法中占有重要地位。其优点是工作量少，存储变量较少，初始点要求不高；缺点是收敛慢，效率不高，有时达不到最优解。非线性规划研究的对象是非线性函数的数值最优化问题。它的理论和方法渗透到许多方面，特别是在军事、经济、管理、生产过程自动化、工程设计和产品优化设计等方面都有着重要的应用。而最速下降法正是元函数的无约束非线性规划问题的一种重要解析法，研究

5、最速下降法原理及其算法实现对我们有着极其重要的意义。一、最速下降法基本原理(一)无约束问题的最优性条件无约束问题的最优解所要满足的必要条件和充分条件是我们设计算法的依据，为此我们有以下几个定理。定理1设在点处可微。若存在，使则向量是在点处的下降方向。定理2设在点处可微。若是无约束问题的局部最优解，则由数学分析中我们已经知道，使的点为函数的驻点或平稳点。函数的一个驻点可以是极小点；也可以是极大点；甚至也可能既不是极小点也不是极大点，此时称它为函数的鞍点。以上定理告诉我们，是无约束问题的的局部最优解的必要条件是：是其目

6、标函数的驻点。现给出无约束问题局部最优解的充分条件。定理3设在点处的Hesse矩阵存在。若，并且正定则是无约束问题的严格局部最优解。一般而言，无约束问题的目标函数的驻点不一定是无约束问题的最优解。但对于其目标函数是凸函数的无约束凸规划，下面定理证明了，它的目标函数的驻点就是它的整体最优解。定理4设，，是上的可微凸函数。若有则是无约束问题的整体最优解。(二)最速下降法的基本思想和迭代步骤最速下降法又称为梯度法，是1847年由著名数学家Cauchy给出的。他是解析法中最古老的一种，其他解析方法或是它的变形，或是受它的启

7、发而得到的，因此它是最优化方法的基础。设无约束问题中的目标函数一阶连续可微。最速下降法的基本思想是：从当前点出发，取函数在点处下降最快的方向作为我们的搜索方向.由的Taylor展式知略去的高阶无穷小项不计，可见取时，函数值下降得最多。于是，我们可以构造出最速下降法的迭代步骤。解无约束问题的的最速下降法计算步骤第1步选取初始点，给定终止误差，令；第2步计算，若，停止迭代.输出.否则进行第三步；第3步取；第4步进行一维搜索，求，使得令，，转第2步。由以上计算步骤可知，最速下降法迭代终止时，求得的是目标函数驻点的一个近似

8、点。确定最优步长的方法如下：方法一：采用任一种一维寻优法此时的已成为步长的一元函数，故可用任何一种一维寻优法求出，即方法二：微分法因为所以，一些简单情况下，可令以解出近似最优步长的值。(三)最速下降法应用举例例1给定初始点解：目标函数的梯度令搜索方向再从出发，沿方向作一维寻优，令步长变量为，最优步长为，则有故令可得求出点之后，与上类似地，进行第二次迭代：令令