针对非光滑优化问题的抽样梯度法

《针对非光滑优化问题的抽样梯度法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、北京交通人学专业硕十学位论文中文摘要本文针对非光滑优化问题展开研究．首先对非光滑优化问题的发展做了简要介绍，特别地，对几种典型的求解非光滑优化问题的算法进行了阐述．然后在抽样梯度算法的基础上，我们针对非光滑非凸优化问题提出一种新的算法．对于尺“上的一个局部Lipschitz的函数．厂求最小值，Burke，Lewis和Ovcrton提出的抽样梯度算法要求．厂在一个开紧子集上连续可微。抽样梯度法是针对非光滑非凸问题的一种算法．在每一步迭代中，抽样梯度算法计算厂在当前迭代中的梯度和m≥以+1随机产生的临近点的梯度．这“一捆’’梯度用来寻找一个g一最速下降方向的近似作为求解一个二次规划的方法，其中占

2、是抽样半径，该半径可以是固定的，也可以动态减少的．Armijo线搜索沿着这个方向为下一次迭代产生一个候选点，如果需要让候选点在厂可微的集合D中，则需对该候选点进行一下扰动，另外，扰动可能确定强收敛性结果．我们通过对抽样梯度法的研究提出一个不可微的方案．我们在选择好样本后用厂的Stcklov均值来估计梯度，所以我们只需要厂的函数值．我们指出该不可微方案包含了抽样梯度算法的收敛性质．关键词：非光滑优化；广义梯度；次梯度；抽样梯度分类号t0221．2j!室銮望盔学专业硕士学位论文ABSTRACT-——————————_———-———————_——。。—————一，——-———●———_-_-———

3、_—_-I———_-___——_———_———-————_—__————————一ABSTRACTInthispaper,westudythenonsmoothoptimizationproblem．Firstofall，weintroducedthedevelopmentofnonsmoothoptimizationbriefly；especiallyseveraltypicalalgorithms．Thenwiththeknowledgeofgradientsamplingalgorithm，wegiveanewalgorithmwhichisanondedvativeversionof

4、thegradientsamplingalgorithmfornonsmoothnonconvexoptimization．WegiveanonderivativeversionofthegradientsamplingalgorithmofBurke，Lewis，andOvertonforminimizingalocallyLipschitzfunction厂Oil口“thatiscontinuouslydifferentiableonaIlopendensesubset．Insteadofgradientsoff，weuseestimatesofgradientsoftheSteklov

5、averagesoffwhichrequiref——valuesonly．Weshowthatthenonderivativeversionretainstheconvergencepropertiesofthegradientsamplingalgorith．Inthisparticular,withprobability1，iteitherdrivesthef—valuet0—∞oreachofitsdusterpointsisClarkestationaryforf．KEYWORDS：nonsmoothoptimization；generalizedgradient；subgradie

6、nt；gradientsamplingCLASSNO：0221．2-IV·北京交通大学专业硕十学位论文目录目录中文摘要⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯iiiABSTRACT⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯iv1引言⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯11．1背景介绍⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯11．2记号和定义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。21．3预备知识⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯52非光滑优化算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯

7、⋯⋯⋯⋯⋯⋯。92．1下降方法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。92．2次梯度法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．102．3割平面法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．112．4捆集方法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯122．5抽样梯度算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯153一种针对非光滑非凸优化问题的算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯