无约束优化方法(I)

《无约束优化方法(I)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章无约束问题的最优化方法§3.1引言§3.2一维搜索方法§3.3坐标轮换法、共轭方向法和Poweel法§3.4梯度法和共轭梯度法§3.5牛顿法和变尺度法§3.6单形替换法§3.7无约束优化设计方法小结§3.1引言一.目的：求一组n维设计变量X=[x1,x2,…,xn]T,使目标函数达到min.f(x)X∈Rn即求目标函数的最优解：最优点x*和最优值f(x*)。二.意义：为约束优化方法的研究提供了策略思想、概念基础和基本方法；为约束优化问题的间接解法提供了有效而方便的方法；对于某些工程问题，进行分析后，便于提供解决的有效方法；

2、约束优化问题的求解往往可以通过一系列无约束优化方法实现；无约束优化问题的解法是优化设计方法的基本组成部分。§3.1引言三.内容：一维搜索：求最优步长因子α(k)多维（变量）优化：确定搜索方向S(k)黄金分割切线法平分法插值法格点法坐标轮换法最速下降法共轭方向法鲍威尔法梯度法共轭梯度法牛顿法单形替换法变尺度法§3.1引言四.无约束优化方法计算步骤：1、选择一个初始点x(0)，这一点越靠近极小点x*越好。2、若已经取得某设计点x(k)，并且该点不是近似极小点，则在x(k)点根据函数f(x)的性质，选择一个方向S(k)，并且沿此方向搜

3、索函数值是下降的，称下降方向。3、当搜索方向S(k)确定后，由x(k)点出发，沿S(k)方向进行搜索，定出步长因子(k)，得到新的设计点：x(k+1)=x(k)+(k)S(k)，并满足f(x(k+1))

4、索，确定最佳步长使函数值沿搜索方向下降最大，其迭代公式为x(k+1)=x(k)+(k)S(k)各种无约束优化方法的区别在于确定其搜索方向的S(k)的方法不同。所以，搜索方向的构成问题是无约束优化问题的关键。五.无约束优化方法的关键问题：§3.1引言六.无约束优化方法的分类：§3.1引言无约束优化方法的分类依据就是根据(k)和S(k)的确定方法而定的。若根据构成搜索方向所使用的信息性质的不同，可以分为两类。1、间接法又称解析法，是利用目标函数导数的无约束优化方法，如最速下降法、共轭梯度法、牛顿法及变尺度法等。2、直接法只利用目

5、标函数值的无约束优化方法，如坐标轮换法、鲍威尔法及单形替换法等。§3.2一维搜索方法一.一维搜索：定义:在第K次迭代时，从已知点X(k)出发，沿给定方向求最优步长因子α(k)，使f(X(k)+αS(k))达到最小值的过程，称为一维搜索。方法：1.解析法：f(x(k+1))=min.f(x(k)+αS(k))=f(x(k)+α(k)S(k))步骤:①f(X(k)+αS(k))沿S(k)方向x(k)台劳展开；②取二次近似：对α求导，令其为零。2.数值迭代法：直接法——应用序列消去原理：分数法、黄金分割法近似法——利用多项式函数逼近（

6、曲线拟合）原理：二次插值法、三次插值法④求得最优步长因子：§3.2一维搜索方法二.迭代法求解一维搜索问题的基本思想：先选定一个初始点x0，从x0出发沿某一选定方向p0求f(x)的极小点，设其为x1；然后再从x1出发沿某一选定方向p1求f(x)的极小点，设其为x2；如此下去，从xk出发沿某一选定方向pk求的极小点xk+1，…，直到求得的xk满足要求为止。求得的值是逐渐下降的：称pk为第k次的搜索方向，因此，在过xk的pk方向上，任意一点可以表示为x=xk+t*pk，目标函数值为f(xk+t*pk)，目标函数实际上成了一元函数。所以

7、沿pk方向求f(x)的极小点，就是求一元函数f(xk+t*pk)的极小问题，表示为：总结：将优化问题转化为一系列的一维搜索问题§3.2一维搜索方法沿方向S的一维搜索§3.2一维搜索方法单峰区间解析概念：在区间[α1，α3]内，函数只有一个峰值，则此区间为单峰区间。单峰区间内，一定存在一点α*，当任意一点α2＞α*时，f(α2)＞f(α*)，说明：单峰区间内，函数可以有不可微点，也可以是不连续函数；三.搜索区间的确定：f(x)0α1α3α0αf(x)α3α1f(α)αα3α2α*α10当α2＜α*时，仍有f(α2)＞f(α*)，则

8、α*是最优点，也即为最优步长因子α(k)。α2确定的搜索区间必定是一个含有最优点α*的单峰区间。§3.2一维搜索方法2。单峰区间几何概念：指函数在区间内只有一个极小点。在极小点左边的函数值应是严格下降，在极小点右边的函数值应是严格上升，即单峰区间内的函数值具有的