最优化理论与应用-4

《最优化理论与应用-4》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、最优化理论与应用第4讲-无约束优化基础电子科技大学自动化工程学院彭晓明1内容提要极小点的概念和判别无约束优化算法的思想线搜索和信任域方法线搜索方法的搜索方向尺度(scaling)问题2内容提要极小点的概念和判别无约束优化算法的思想线搜索和信任域方法线搜索方法的搜索方向尺度(scaling)问题3局部极小点和全局极小点对于定义域的所有点x而言，如果满足f(x*)≤f(x)，则x*是全局极小点(lbl(globalmiiiinimizer)对于x*的一个邻域N中的所有点x而言，如果x*满足f(()x*)≤f()(x)，则x*是局部极

2、小点(localminimizer)对于凸函数，局部极小点也是全局极小点4局部极小点和全局极小点5判别局部极小点一阶必要条件（First-OrderNecessaryConditions）如果x*是局部极小点且函数f()f(x)在x*的邻域内连续可微，则梯度向量f(*)x0满足f()x0的点x称为驻点(tti(stationarypoiit)nt)因此，任何局部极小点也是驻点6什么是梯度向量？函数f(x,x,…,x)的梯度向量f()x12n定义为7判别局部极小点二阶充分条件（Second-OrderSufficentCondit

3、ions）2假设HiHessian矩阵f在x*的邻域内是连续的，且f()(x0*)，2f(*)x是半正定矩阵，则x*是函数f的局部极小点8什么是Hessian矩阵函数f(x,x,…,x)的Hessian矩阵12n2定义为f9什么是正定矩阵对于每个n×n的实对称矩阵M而言，如果对于所有的非零列向量z都有ztMz>0，则称实矩阵M是正定矩阵10全局极小点的充要条件如果函数f(()x)是定义在Rn上的可微凸函数，则任何驻点x*是全局极小点11内容提要极小点的概念和判别无约束优化算法的思想线搜索和信任域方法线搜索方法的搜索方向尺度(

4、scaling)问题12无约束优化算法的思想所有无约束优化算法的思想是：从一个初始点x出发，寻找一系0列点{x,x,…,x}使得函数值下12n降，即f(x)>f(x)>f(x)>…>f(x)012n，直到已经取得了极小点或者当前点x已经是一个足够精确的近n似值13内容提要极小点的概念和判别无约束优化算法的思想线搜索和信任域方法线搜索方法的搜索方向尺度(scaling)问题14线搜索和信任域方法问题是怎样从当前点x移动到下k一点x？k+1有两种基本策略线搜索(linesearch)信任域(trustregion)(trustregi

5、on)15线搜索(()linesearch)从当前点x出发，选择一个方向kp,使得沿着这个方向函数值降低k选择步长α,使得f(f(x+αp)最小，kkkk也即获得最大限度的函数值降低于是下一个点是x=x+αpk+1kkk16信任域((gtrustregion))对于函数f,建建个立一个模型函数(modelfunction)m，使得在以当k前点x为中心的一个信任域R(x)kk里面，f≈mk寻找一个位于信任域R(x)中的向k量p，使得下式成立，于是下一个点是x=x+pk+1k17信任域((gtrustregion))通常模型函数可以是下面的二次

6、函数当前点x处Hessian矩当前点x处kk的梯度值阵或其近的函数值似值18信任域((gtrustregion))一般选择信任域为一个球体，即p2信任域半径19线搜索vs.信任域二者的主要差别是对方向(direction)和长度(distance)选择次序不同线搜索的思路是先选择搜索方向p,然后才是长度(步长α)kk信任域的思路是先选择长度（信任域半径），然后选择方向p及其长度20内容提要极小点的概念和判别无约束优化算法的思想线搜索和信任域方法线搜索方法的搜索方向尺度(scaling)问题21线搜索方法的搜索方向最速下降方向(

7、(psteepestdescentdirection)牛顿方向(Newtondirection)拟牛顿方向(Quasi-Newtondirection)共轭梯度方向(conjugategradientdirection)22最速下降方向(steepestdescentdirection)沿此方向函数值下降得最快线性收敛（慢）pfkk23牛顿方向(Newtondirection)(Newtondirection)非最速下降方向也能够导致函数值减小(见NdNocedall2,p.22)2)只要确保所选择的搜索方向与最速下降方向之间的夹角

8、小于π/224牛顿方向(Newtondirection)(Newtondirection)牛