《最优化方法》课程复习考试.doc

《《最优化方法》课程复习考试.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、《最优化方法》复习提要第一章最优化问题与数学预备知识§1.1模型无约束最优化问题．约束最优化问题（）即其中称为目标函数，称为决策变量，称为可行域，称为约束条件．§1.2多元函数的梯度、Hesse矩阵及Taylor公式定义设．如果维向量，，有．则称在点处可微，并称为在点处的微分．如果在点处对于的各分量的偏导数都存在，则称在点处一阶可导，并称向量为在点处一阶导数或梯度．定理1设．如果在点处可微，则在点处梯度存在，并且有．定义设．是给定的维非零向量，．如果存在，则称此极限为在点沿方向的方向导数，记作．定理2设．如果在点处可微，则在点

2、处沿任何非零方向的方向导数存在，且，其中．定义设是上的连续函数，．是维非零向量．如果，使得，有（>）．则称为在点处的下降（上升）方向．定理3设，且在点处可微，如果非零向量，使得（>）0，则是在点处的下降（上升）方向．定义设．如果在点处对于自变量的各分量的二阶偏导数都存在，则称函数在点处二阶可导，并称矩阵为在点处的二阶导数矩阵或Hesse矩阵．定义设，记，如果在点处对于自变量的各分量的偏导数都存在，则称向量函数在点处是一阶可导的，并且称矩阵为在点处的一阶导数矩阵或Jacobi矩阵，简记为．例2设，求在任意点处的梯度和Hesse矩

3、阵．解设，则，因，故得．又因，则．例3设是对称矩阵，，称为二次函数，求在任意点处的梯度和Hesse矩阵．解设，则，从而．再对求偏导得到，于是．例4设，其中二阶可导，，试求．解由多元复合函数微分法知．定理4设，且在点的某邻域内具有二阶连续偏导数，则在点处有Taylor展式．证明设，则．按一元函数Taylor公式在处展开，有．从例4得知．令，有．根据定理1和定理4，我们有如下两个公式，．§1.3最优化的基本术语定义设为目标函数，为可行域，．（1）若，都有，则称为在上的全局（或整体）极小点，或者说，是约束最优化问题的全局（或整体）最

4、优解，并称为其最优值．（2）若，都有，则称为在上的严格全局（或整体）极小点．（3）若的邻域使得，都有，则称为在上的局部极小点，或者说，是约束最优化问题的局部最优解．（4）若的邻域使得，都有，则称为在上的严格局部极小点．第二章最优性条件§2.1无约束最优化问题的最优性条件定理1设在点处可微，若是问题的局部极小点，则．定义设在处可微，若，则称为的平稳点．定理2设在点处具有二阶连续偏导数，若是问题的局部极小点，则，且半正定．定理3设在点处具有二阶连续偏导数，若，且正定，则是问题的严格局部极小点．注：定理2不是充分条件，定理3不是必要

5、条件．例1对于无约束最优化问题，其中，显然，令，得的平稳点，而且．易见为半正定矩阵．但是，在的任意邻域，总可以取到，使，即不是局部极小点．例1对于无约束最优化问题，其中，易知，从而得平稳点，并且．显然不是正定矩阵．但是，在处取最小值，即为严格局部极小点．例2求解下面无约束最优化问题，其中，解因为，所以令，有解此方程组得到的平稳点．从而，．由于和是不定的，因此和不是极值点．是负定的，故不是极值点，实际上它是极大点．是正定的，从而是严格局部极小点．定理4设是凸函数，且在点处可微，若，则为的全局极小点．推论5设是凸函数，且在点处可微

6、．则为的全局极小点的充分必要条件是．例4试证正定二次函数有唯一的严格全局极小点，其中为阶正定矩阵．证明因为为正定矩阵，且，所以得的唯一平稳点．又由于是严格凸函数，因此由定理4知，是的严格全局极小点．§2.2等式约束最优化问题的最优性条件定理1设在点处可微，在点处具有一阶连续偏导数，向量组线性无关．若是问题的局部极小点，则，使得．称为Lagrange函数，其中．称为Lagrange乘子向量．易见，这里．定理2设和在点处具有二阶连续偏导数，若，使得，并且，，只要，便有，则是问题的严格局部极小点．例1试用最优性条件求解解Lagran

7、ge函数为，则，从而得的平稳点和，对应有和．由于．因此．并且，有．利用定理2，所得的两个可行点和都是问题的严格局部极小点．§2.3不等式约束最优化问题的最优性条件定义设，若，使得，，则称为集合在点处的可行方向．这里．令，．定理1设是非空集合，在点处可微．若是问题的局部极小点，则．对于（1）其中．令，其中是上述问题（1）的可行点．定理2设是问题（1）的可行点，和在点处可微，在点处连续，如果是问题（1）的局部极小点，则，其中．定理3设是问题（1）的可行点，和在点处可微，在点处连续，若是问题（1）的局部极小点，则存在不全为0的非负数

8、，使．（称为FritzJohn点）如果在点处也可微，则存在不全为0的非负数，使（称为FritzJohn点）例1设试判断是否为FritzJohn点．解因为，且，所以为使FritzJohn条件成立，只有才行．取即可，因此是FritzJohn点．定理4设是问题（1）的可行点，和在点