资源描述：
《信赖域方法的收敛性》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、年月计算数学第期谨以此文纪念冯康教授住信赖域方法’的收敛性袁亚湘中国科学院计算中心劝‘。夕几‘‘‘肠占,刀,信赖域方法信赖域方法是非线性优化的一类重要的数值计算方法它在近二十年来受到了非··,,线性优化研究界非常的重视特别是最近几年一直是非线性优化的研究热点目前信赖域方法已经和传统的线收索方法并列为非线性规划的两类主要数值方法,人们发现信赖域方法的基本技巧在信赖域方法的研究起始于但是一定意义下等价于十分著名的求解非线性最小二乘的一方法对于非线性最小二乘问题、民、’,,任服二,,二,,况“,其中幻句⋯几和二“⋯是中的连续可微的函数方法是、一
2、、、,、无无其中二甲是矩阵,十表示的广义逆矩阵不难看出,,一一十、步川是问题、、腊瑟孟二年月日收到“”由国家攀登项目大规模科学与工程计算资助计算数学年·、的解问题显然是原问题在当前迭代点的近似当矩阵动几,一、,一乎奇异时步一很可能会非常长从而使·方法出现数值为了克服这一困难,‘困难由沙提出并由阳重新发一现的方法利用如下步、二、、,入一‘二、,一入、全。是一个参数它每次迭代修正网其中方法的思想就是通过引入参数久、来克服截、几乎奇异所带来·入、可保证矩阵的困难利用恰当的参数二、、、,一、入从州匀可逆而且能避免出现过于大的日日容易看到步是问题貂
3、、‘、孟入姜·瑟的解问题是的修改所加的久、,、一项日训鑫可看作是罚项从而可阻止日过大定义△、八、入了一’尸、,,则不难证明一步也是如下问题‘‘、,、腊刹到卜川同鑫三、日△·,的解约束条件正是一信赖域约束故显然可见问题厂是一信赖域子问,一方法也是题因此从这个意义下传统的一特殊的信赖域方法也正由于此,人们提及信赖域方法一的历史总是追溯到方法一,,入、△、方法每次迭代修改从而隐含地起到调节限制步长·、的作用△,故能更好地控制日、的,信赖域方法直接调节大小而且方法直观以及具有很强的逼近背景信赖域方法、,的构造和逼近是密切相关的给出一个当前迭代点构
4、造一近似于原、,问题的逼近模型由于该模型主要是基于原问题在的信息故有理由认为此模型仅、二、在附近可以很好的描述原问题所以人们仅在附近的某一邻域内相信该模型信赖域方法的子问题都是在当前迭代点附近的某一邻域内求逼近模型的最优点该邻域被称,、为中心的广义球信赖域的大小通过迭代逐步调节为信赖域它常是以,,,一般说来如果在当前迭代模型较好地逼近原问题则信赖域可扩大否则信赖域应缩小信赖域方法的关键组成部分是如何求得信赖域试探步以及怎样决定试探步是否可被接受试探步一般是一子问题的解,所以如何求得信赖域试探步实质上归结于子问题,的构造决定试探步是否可被接
5、受通常是利用某一价值函数看试探步能否使价值函数期袁亚湘信赖域方法的收敛性下降对于无约束优化问题,,价值价值函数显然就是目标函数对于约束优化问题函数常常是一罚函数和线搜索方法相比,信赖域方法还不够成熟有效的信赖域方法实用软件,特别是,依然十分缺少所,目前在实践应用中信赖域方法还对于求解约束优化问题的软件以没有线搜索方法,那样广泛但是信赖域方法具有两个很好的性质一是它有很好的可靠性和强适性另,一是它有很强的收敛性毫无疑问信赖域方法将受到更大的重视,它的应用将更广下面介绍无约束优化,本文和约束优化的信赖域方法以及它们的收敛性分析技巧不介绍非光滑
6、优化的信赖域方法,有关这方面的研究可见,,」和」等无约束优化况”,无约束优化问题是在整个上求解函数的极值点可写为〔获几况”,其中是定义在上的函数利用二次逼近可构造信赖域子问题如下“无己无,一功腊象万告三,△夕,,其中是一实对称阵△是信赖域半径定理设任况”,△和〔况“又”对称,则,任眨”是问题器。““己一功己,一,一△之解的充分必要条件是存在唯一的入全使得入,三△△一,从,且汀是半正定矩阵,关于此定理的证明可见基于这一定理可将求解信赖域子问题化为计算满足入,卜的入可利用法计算具体算法已由【」和给出子问题的解具有很好的下降性质定理设是问题卜,
7、则必有的解功一功·。·夕,“不告岸斧酱、二夕‘一“全百。吓不下下石百了口日计算数学年不等式的证明最早由,畔给出关于的证明可见【事实上人,,们发现信赖域方法的收敛性主要是基于试探步满足不等式所以大多数信赖域方法并不精确求解子问题卜,而是计算一满足、、。,功。一功,、。一。一△、尸粤裂斗甲无。、,石的试探步其中是一正常数石,刀全。,、任况”定义设是两常数如果满足和不等式三刀△、,·则称、是子问题卜的佰,的下降试探步·,,,显然子问题卜的精确解是下降试探步事实上对任何子空间况”,、任,,又只要则子问题卜在上的解也是下降试探步为,,、,了子问题容
8、易求解且使算法具有较好的收敛性可为石刃在和,’,,【和以及等的方法都是在子空间上非精确求解卜子问题卜也可通过预条件共扼梯度法非精确求解,例如【」,、,我们称模型对任一试探步函数的下降量、一、功
