非单调线搜索与其应用

《非单调线搜索与其应用》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、目录第一章绪论⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．11．1线搜索准则⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯11．2非单调线搜索技术⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯21．3求解无约束优化问题的拟牛顿算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯41．4非光滑方程组的解法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯61．5本文的主要工作及方法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．8第二章新的非单调线搜索规则BFGS算法的全局收敛性⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．92．1引言⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯

2、⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯92．2算法及其性质⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．92．3全局收敛性⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯lo2．4数值试验⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．15第三章解非光滑方程组的Newton．Krylov方法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．173．1基本概念及基础知识⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯173．2非精确Newton．Krylov算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．193．3收敛性分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯

3、⋯⋯⋯⋯⋯⋯。233．4数值试验⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．31结论⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．36参考文献⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。36攻读硕士学位期间取得的学术成果⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．43致{射⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．44中国石油大学(华东)硕士学位论文第一章绪论1．1线搜索准贝U令R”是一个n维Euclide空间，f：R”专R1是一个连续可微函数。

4、解无约束优化问题minf(x),x∈R”(1—1)的线搜索方法具有如下的形式x女+l=xI+口tdt，k=1，2，3，人(1-2)其中x。∈R”是初始点，d々是当前迭代点，k=l，2，3，人，x’是一个稳定点，满足夥G+)：0。我们用g。表示耵k)，用以表示厂瓴)，厂表示厂G‘)。选择搜索方向d。，确定每次迭代沿搜索方向的步长口。是线搜索的主要任务。搜索方向d。通常需要满足g。1d。<0(1·3)tI0是常数。此外，我们还需要选

5、择d。满足角的特性COS<一gk,dk>_一既T以／0Ig。⋯d。11)≥刁。(1—5)其中r／。∈(o，1)是常数，COS<-g。，噍>表示向量一g。和d。之间的夹角。常用的线搜索规则有下面几种：(a)最小化规则(精确线搜索规则)。在每一步迭代，选择％使得．厂G^+口^dI)=mip厂G々+积t)．(1-6)口>U(b)近似最小化规则。在每一步迭代，选择吼使得口。=min扛Igk+ad。)Tdk=o，口>01．(1-7)第一章绪论(c)Armij。线搜索规则。选择标量sk,fl，三>0，仃使得，＆：一gj巩／仁0以㈣，∥∈(o，1)，仃∈(o，1／2)。4"a。是满足下式的§

6、^，厣。，∥2屯，人}中最大的口．y(x女+伍d々)≤六+嗽tT以(1．8)(d)有限最小化规则。令＆=噌。T以／(Llld。112)，％由下式定义I{xt+akdt)-嘞min‰)I(xt+谢t)·(1-9)其中L>0是一个常数。(e)Goldstein线搜索规则。盯∈(oj／2)是一个固定的常数，选择吼满足下式仃≤【厂Gk+口々dk)一A]la々g[dk≤1一仃．(1-lo)可以证明，如果厂有下界，则存在吼的一个区间使上式成3一L；这是通过有限步数学运算就能找到一个步长的非常简单的算法。(0强Wolfe线搜索规则。选择吼同时满足TYU两式以一y(x々+口td女)≥一仃口tg

7、jdI(1-11)lgk+吒吨小一例T吐(1-12)其中盯∈(0,1／2)，∥∈p，1)是标量。．(g)Wolfe线搜索规则。选择％满足式(11)和g(xk+吼以)Tdk≥倦^T吨(1—13)1．2非单调线搜索技术在上一节我们已经给出了几种常用的寻找步长因子吼的线搜索准则。这些搜索准则有一个共同的特性，那就是每步迭代都是单调下降的¨1121，即f(x。+agd。)<厂G。)，这种限制目标函数在迭代过程中严格下降的要求有着一定的缺点，一个典型的情况就是当目标函数在可行域中存在狭长弯曲的峡谷时(