最优化方法及控制应用.ppt

ID:51341936

大小:4.03 MB

页数:197页

时间:2020-03-22

最优化方法及控制应用.ppt_第1页
最优化方法及控制应用.ppt_第2页
最优化方法及控制应用.ppt_第3页
最优化方法及控制应用.ppt_第4页
最优化方法及控制应用.ppt_第5页
资源描述:

《最优化方法及控制应用.ppt》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、常用无约束最优化方法§3.1最速下降法§3.2Newton法§3.3修正Newton法§3.4共轭方向法§3.5共轭梯度法§3.6变尺度法§3.7坐标轮换法§3.8单纯形法常用无约束最优化方法本章开始讨论多维无约束最优化问题其中.这个问题的求解是指在中找一点,使得对于任意的都有成立,则点就是问题(3.1)的全局最优点但是,大多数最优化方法只能求到局部最优点,即在中找到一点,使得式(3.2)在的某个领域中成立.这个矛盾对于实际问题一般容易解决.根据问题的实际意义多半可以判定用优化方法求出的局部最优解是否为全局最

2、优解.而在理论上这是个比较复杂的问题。无约束优化方法是优化技术中极为重要和基本的内容之一.它不仅可以直接用来求解无约束优化问题,而且很多约束优化问题也常将其转化为无约束优化问题,然后用无约束优化方法来求解.另外,有些无约束优化方法只需略加处理,即可用于求解约束优化问题.常用无约束最优化方法无约束优化理论发展较早,比较成熟,方法也很多,新的方法还在陆续出现.把这些方法归纳起来可以分成两大类:一类是仅用计算函数值所得到的信息来确定搜索方向,通常称它为直接搜索法,简称为直接法,另一类需要计算函数的一阶或二阶导数值所

3、得到的信息来确定搜索方向,这一类方法称为间接法(解析法).直接法不涉及导数、Hesse矩阵,适应性强,但收敛速度较慢;间接法收敛速度快,但需计算梯度,甚至需要计算Hesse矩阵.一般的经验是,在可能求得目标函数导数的情况下还是尽可能使用间接方法;相反,在不可能求得目标函数的导数或根本不存在导数的情况下,当然就应该使用直接法.常用无约束最优化方法对于问题(3.1)为了求其最优解,按最优化算法的基本思想是从一个给定的初始点出发,通过基本迭代格式,按照特定的算法产生一串点列,如果点列收敛,则该点列的极限点为问题(3

4、.1)的最优解.最速下降法一、最速下降法基本原理在基本迭代格式中,每次迭代搜索方向取为目标函数的负梯度方向,即,而每次迭代的步长取为最优步长,由此所确定的算法称为最速下降法。最速下降法为了求解问题(3.1),如图所示,假定我们已经迭代了次获得了第个迭代点.现在从出发,可选择的下降方向很多,一个非常自然的想法是沿最速下降方向(即负梯度方向)进行搜索应该是有利的,至少在邻近的范围内是这样。因此,取搜索方向为.最速下降法为了使目标函数在搜索方向上获得最多的下降,沿进行一维搜索,由此得到第个迭代点,即,其中步长因子按

5、下式确定也可记为显然,令就可以得到一个点列,其中是初始点,由计算者任意选定.当满足一定的条件时,由式(5.3)所产生的点列必收敛于的极小点以后为书写方便,记.因此在不发生混淆时,再记.最速下降法二、最速下降法迭代步骤已知目标函数及其梯度,终止(1)选定初始点,计算置.(2)作直线搜索:;计算(3)用终止准则检测是否满足:若满足,则打印最优解停机;否则,置转(2).最速下降法最速下降法算法流程如图所示.开始结束选定X0YX,fH准则满足N将最速下降法应用于正定二次函数可以推出显式迭代公式.设第次迭代点为我们来求

6、的表达式.对式(5.4)关于求梯度,有因此,现在从出发沿作直线搜索以确定,于是,其中是最优步长因子.最速下降法又因式(4.2),有再利用(5.5),(5.6),(5.7)可得:或由此解出:代入(5.7)中得到这就是最速下降法用于二次函数的显式迭代公式.最速下降法最速下降法例5.1试用最速下降法求函数的极小点.迭代两次,计算各迭代点的函数值,梯度及其模,并验证相邻两个搜索方向是正交的.设初始点为.解:与(5.4)比较,得梯度表达式是由,计算因为目标函数是二次的,可以使用式(5.8),所以有最速下降法因为由此说明

7、相邻两个搜索方向是正交的.计算最速下降法三、最速下降法有关说明最速下降法的优点是算法简单,每次迭代计算量小,占用内存量小,即使从一个不好的初始点出发,往往也能收敛到局部极小点.但它有一个严重缺点就是收敛速度.沿负梯度方向函数值下降很快的廉洁,容易使人们产生一种错觉,认为这一定是最理想的搜索方向,沿该方向搜索时收敛速度应该很快,然而事实证明,梯度法的收敛速度并不快.最速下降法特别是对于等值线(面)具有狭长深谷形状的函数,收敛速度更慢.其原因是由于每次迭代后下一次搜索方向总是与前一次搜索方向相互垂直,如此继续下去

8、就产生所谓的锯齿现象.即从直观上看,在远离极小点的地方每次迭代可能使目标函数有较大的下降,但是在接近极小点的地方,由于锯齿现象,从而导致每次迭代行进距离缩短,因而收敛速度不快.最速下降法Newton法如果目标函数在上具有连续的二阶偏导数,其Hesse矩阵正定并且可以表达成为显式(今后为了简便起见,记,那么可以使用下述的Newton法.这种方法一旦好用,收敛速度是很快的.它是一维搜索Newton切线法

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
正文描述:

《最优化方法及控制应用.ppt》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、常用无约束最优化方法§3.1最速下降法§3.2Newton法§3.3修正Newton法§3.4共轭方向法§3.5共轭梯度法§3.6变尺度法§3.7坐标轮换法§3.8单纯形法常用无约束最优化方法本章开始讨论多维无约束最优化问题其中.这个问题的求解是指在中找一点,使得对于任意的都有成立,则点就是问题(3.1)的全局最优点但是,大多数最优化方法只能求到局部最优点,即在中找到一点,使得式(3.2)在的某个领域中成立.这个矛盾对于实际问题一般容易解决.根据问题的实际意义多半可以判定用优化方法求出的局部最优解是否为全局最

2、优解.而在理论上这是个比较复杂的问题。无约束优化方法是优化技术中极为重要和基本的内容之一.它不仅可以直接用来求解无约束优化问题,而且很多约束优化问题也常将其转化为无约束优化问题,然后用无约束优化方法来求解.另外,有些无约束优化方法只需略加处理,即可用于求解约束优化问题.常用无约束最优化方法无约束优化理论发展较早,比较成熟,方法也很多,新的方法还在陆续出现.把这些方法归纳起来可以分成两大类:一类是仅用计算函数值所得到的信息来确定搜索方向,通常称它为直接搜索法,简称为直接法,另一类需要计算函数的一阶或二阶导数值所

3、得到的信息来确定搜索方向,这一类方法称为间接法(解析法).直接法不涉及导数、Hesse矩阵,适应性强,但收敛速度较慢;间接法收敛速度快,但需计算梯度,甚至需要计算Hesse矩阵.一般的经验是,在可能求得目标函数导数的情况下还是尽可能使用间接方法;相反,在不可能求得目标函数的导数或根本不存在导数的情况下,当然就应该使用直接法.常用无约束最优化方法对于问题(3.1)为了求其最优解,按最优化算法的基本思想是从一个给定的初始点出发,通过基本迭代格式,按照特定的算法产生一串点列,如果点列收敛,则该点列的极限点为问题(3

4、.1)的最优解.最速下降法一、最速下降法基本原理在基本迭代格式中,每次迭代搜索方向取为目标函数的负梯度方向,即,而每次迭代的步长取为最优步长,由此所确定的算法称为最速下降法。最速下降法为了求解问题(3.1),如图所示,假定我们已经迭代了次获得了第个迭代点.现在从出发,可选择的下降方向很多,一个非常自然的想法是沿最速下降方向(即负梯度方向)进行搜索应该是有利的,至少在邻近的范围内是这样。因此,取搜索方向为.最速下降法为了使目标函数在搜索方向上获得最多的下降,沿进行一维搜索,由此得到第个迭代点,即,其中步长因子按

5、下式确定也可记为显然,令就可以得到一个点列,其中是初始点,由计算者任意选定.当满足一定的条件时,由式(5.3)所产生的点列必收敛于的极小点以后为书写方便,记.因此在不发生混淆时,再记.最速下降法二、最速下降法迭代步骤已知目标函数及其梯度,终止(1)选定初始点,计算置.(2)作直线搜索:;计算(3)用终止准则检测是否满足:若满足,则打印最优解停机;否则,置转(2).最速下降法最速下降法算法流程如图所示.开始结束选定X0YX,fH准则满足N将最速下降法应用于正定二次函数可以推出显式迭代公式.设第次迭代点为我们来求

6、的表达式.对式(5.4)关于求梯度,有因此,现在从出发沿作直线搜索以确定,于是,其中是最优步长因子.最速下降法又因式(4.2),有再利用(5.5),(5.6),(5.7)可得:或由此解出:代入(5.7)中得到这就是最速下降法用于二次函数的显式迭代公式.最速下降法最速下降法例5.1试用最速下降法求函数的极小点.迭代两次,计算各迭代点的函数值,梯度及其模,并验证相邻两个搜索方向是正交的.设初始点为.解:与(5.4)比较,得梯度表达式是由,计算因为目标函数是二次的,可以使用式(5.8),所以有最速下降法因为由此说明

7、相邻两个搜索方向是正交的.计算最速下降法三、最速下降法有关说明最速下降法的优点是算法简单,每次迭代计算量小,占用内存量小,即使从一个不好的初始点出发,往往也能收敛到局部极小点.但它有一个严重缺点就是收敛速度.沿负梯度方向函数值下降很快的廉洁,容易使人们产生一种错觉,认为这一定是最理想的搜索方向,沿该方向搜索时收敛速度应该很快,然而事实证明,梯度法的收敛速度并不快.最速下降法特别是对于等值线(面)具有狭长深谷形状的函数,收敛速度更慢.其原因是由于每次迭代后下一次搜索方向总是与前一次搜索方向相互垂直,如此继续下去

8、就产生所谓的锯齿现象.即从直观上看,在远离极小点的地方每次迭代可能使目标函数有较大的下降,但是在接近极小点的地方,由于锯齿现象,从而导致每次迭代行进距离缩短,因而收敛速度不快.最速下降法Newton法如果目标函数在上具有连续的二阶偏导数,其Hesse矩阵正定并且可以表达成为显式(今后为了简便起见,记,那么可以使用下述的Newton法.这种方法一旦好用,收敛速度是很快的.它是一维搜索Newton切线法

显示全部收起
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。
关闭