优化方法的数学基础（已排）课件.ppt

《优化方法的数学基础（已排）课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第2章　优化方法的数学基础二元函数在点x0处沿某一方向d的方向导数其中方向导数是偏导数概念的推广。方向导数与偏导数之间的数量关系是2.1　方向导数与梯度1Ox2x1x10x20x0x1x2dxd12n元函数在点x0处沿d方向的方向导数1.方向导数2为函数f(x1，x2)在x0点处的梯度。2.梯度二元函数的梯度3设梯度方向和d方向重合时，方向导数值最大。梯度的模：4梯度方向与等值线的关系设：则有为单位向量。梯度方向是函数值变化最快的方向，而梯度的模就是函数变化率的最大值。5多元函数的梯度6梯度　　模：函数的梯度方向与函数等值面相垂直，也就是和等值面上过x0的一切曲线相垂

2、直。由于梯度的模因点而异，即函数在不同点处的最大变化率是不同的。因此，梯度是函数的一种局部性质。7例题　1-4求函数　在点[3,2]T的梯度。解在点x(1)=[3,2]T处的梯度为：82.2　多元函数的泰勒展开二元函数：二元函数：在点x0处9多元函数泰勒展开10用泰勒展开将函数在点　　　　简化成线性函数与二次函数。解：函数在点　　　　　　的函数值、梯度和二阶导数矩阵：例题　1-511简化的线性函数简化的二次函数121.在处取得极值，其必要条件是:即在极值点处函数的梯度为n维零向量。为了判断从上述必要条件求得的是否是极值点，需建立极值的充分条件。根据函数在点处的泰勒展开式，考虑上

3、述极值必要条件，可得相应的充分条件。2.3　无约束优化问题的极值条件13即要求各阶主子式均大于零。2.处取得极值充分条件142.4　不等式约束优化问题的极值条件不等式约束的多元函数极值的必要条件是著名的库恩--塔克（Kuhn-Tucker）条件，它是非线性优化问题的重要理论（1）库恩—塔克条件(K-T条件）对于多元函数不等式的约束优化问题：15K-T条件库恩—塔克条件表明：如点是函数的极值点，要么（此时）要么目标函数的负剃度等于起作用约束梯度的非负线性组合（此时）。16Ox1x2极值点处于等值线的中心极值点处于两个约束曲线的交点上x﹡g1(x)＝0g2(x)＝0g3(x)＝0O

4、x1x2x﹡g1(x)＝0g2(x)＝0起作用约束：17x1x2Og2(x)=0g1(x)=0f(x)=Cg2(xk)g1(xk)－f(xk)xk可行域点xk处的切平面x1x2Og2(x)=0g1(x)=0f(x)=Cg2(xk)g1(xk)－f(xk)xk可行域点xk处的切平面(a)(b)库恩—塔克条件的几何意义是:在约束极小值点处，函数的负梯度一定能表示成所有起使用约束在该点梯度（法向量）的非负线性组合。18同时具有等式和不等式约束的优化问题:K-T条件：19例1-6库恩—塔克（K-T）条件应用举例s.t判断[10]T是否为约束最有点。K-T条件是多元函数取得约

5、束极值的必要条件,以用来作为约束极值的判断条件，又可以来直接求解较简单的约束优化问题。20(1)当前点为可行点，因满足约束条件(2)在起作用约束为g1和g2,因(3)各函数的梯度：21（4）求拉格朗日乘子由于拉格朗日乘子均为非负，说明是一个局部最优点，因为它满足K-T条件。22s.t23