工程最优化第三篇上课讲义.ppt

《工程最优化第三篇上课讲义.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、工程最优化第三篇f(x(0))梯度的重要性质：几个常用函数的梯度①f(x)=b1x1+…+bnxn=BTxf(x)=[b1,b2,…,bn]T=B②f(x)=x12+…+xn2=xTxf(x)=[2x1,2x2,…,2xn]T=2x③f(x)=xTAx(aij=aji)f(x)=2Ax④f(x)=c+BTx+1/2xTAxf(x)=B+Axx(0)f(x(1))x(1)点x(0)处的梯度方向与过该点的等值面垂直。(2)二阶导数矩阵―Hesse矩阵记为H(x)n元函数f(x1,x2,…,

2、xn)的Taylor展开公式的矩阵形式梯度H(x)§3.2方向导数与最速下降方向（一）方向导数定义：设p为从x(0)出发的某单位向量，称函数f(x)在点x(0)处沿方向p的变化率为f(x)在点x(0)处沿方向p的方向导数f(x)x(0)θPf(x(0))（二）最速下降（上升）方向称方向导数小于零的方向为下降方向,方向导数大于零的方向为上升方向。最速上升方向为梯度方向f(x(0))，最速下降方向为负梯度方向－f(x(0))由于上升方向下降方向变化率为0f(x(0))最速上升方向－f(x(0

3、))最速下降方向x(0)称为点x(0)处的下降方向集合§3.3局部最优与全局最优（一）局部最优定义：设f(x)是定义在可行域S上的一个函数，若存在S中的点x*及其一个邻域N(x*)，使得对任意xN(x*)，都有f(x*)=f(x)－f(x*)0称x*为f(x)的局部最小点或极小点；称f*＝f(x*)为局部最小值（二）全局最优定义：若存在S中的点x**，使得对所有xS，都有f(x**)=f(x)－f(x**)0称x**为f(x)的全局部最小点或整体最小点；称f**＝f(x**)为全

4、局最小值xf(x)x1x2x3x4x5x6ab§3.4无约束问题的最优性条件研究最优性条件的目的：约定：实际问题目标函数可能不连续或导数不存在，甚至是离散函数，最优点可能在不连续点或导数不存在的点。以下讨论时假定f(x)处处连续可导.（1）用以求最优点；（2）用以判定给定点是否为最优点；（3）优化方法的基础。（一）无约束函数极值的必要条件若x*是f(x)的局部最小（大）点，则在x*处必有以及Hesse矩阵是半正定（半负定）的。此条件仅是必要的，即对导数存在的点，若不满足上述条件，肯定不是极值点。但

5、满足此条件，不一定是极值点.定义：对可微函数f(x),使的点为平稳点（或驻点、定点）对一元函数，两个条件变为f’(x)＝0及f”(x)0.极值点的候选点平稳点导数不存在的点由必要条件可得“有资格”成为最优的点,如果有充分条件该有多好!!!如f(x)=x3,当x=0时，满足上述两个条件，但不是极值点。（二）无约束函数极值的充分条件若点x*满足以及是正定（负定）的，则x*是f(x)的一个严格的局部最小（大）点。例3.4.1求f(x1,x2)=2x12－8x1+2x22－4x2+20的极值点及极值。解

6、：先求平稳点平稳点为x*＝[2,1]THesse矩阵为x*＝[2,1]T是f(x)的严格极小点，f(x*)=10其前主子式4>0，=16>0Hesse矩阵是正定的。!!!上述最优性条件都是对局部最优点而言的，工程问题都需要找全局最优点，这方面已进行大量研究，但仍没有一个统一的判别方法。如果在可行域中只有一个局部最优点，即为全局最优点，有多个局部最优点，则想法全找出来，再比较确定全局最优点。§3.5约束问题的最优性条件minf(x)s.t.最优点同时与目标函数及约束函数的性质有关。存在两种情况：(a

7、)无约束极值点x(0)Sx2x1x2x1SSx(0)=x*x(0)x*(b)无约束极值点x(0)S!目标函数的梯度等于零并不是约束问题的最优性必要条件！带有不等式约束的优化问题的最优性条件通常是一组不等式与方程，比较复杂的，很难求解，所以在一般情况下，不是直接求解这些条件来获得极值点，而是使用各种迭代法求出近似的极值点。但它在理论上很重要，是各种迭代方法的基础和依据。（一）可行方向与起作用约束定义：设点xS，p是一个方向，如果存在实数a1>0,使对所有a[0,a1]，有x+apS，则称p

8、为点x的一个可行方向,或容许方向、允许方向。几何上，若从x处沿方向p引一射线，若该射线起始端有一段在可行域内，则这个方向p就叫可行方向。SxpSg1(x)=0g2(x)=0g3(x)=0!是否为可行方向与起始点的位置有关！(1)若x是S的内点，则任何方向均为可行方向g1(x)g2(x)g3(x)(2)若x是S的边界点，则有的方向不是可行方向若x位于第i个约束上，即，若p为边界点x的可行方向，则必有几何最优性条件:在判定边界点处的方向是否可行方向时，有必要对约束条件进行分类定