第一章--最优化问题与数学预备知识

《第一章--最优化问题与数学预备知识》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第一章最优化问题与数学预备知识1.最优化问题的一般形式给定目标函数，满足不等式约束及等式约束，记为：，其中满足所有约束的向量称为容许解或容许点，容许点集合称为容许集。从最优化问题的一般形式可以看出，最优化要解决的问题就是在容许集中找一点，使目标函数，在该点取极小。这样称为问题的最优点，而相应的目标函数值称为最优值。2.最优化问题分类最优化问题可分为静态问题和动态问题两大类，本书只讨论静态问题。静态最优化问题又可分为无约束问题和约束问题两类。例：求Rosenbrock函数大极小点，即。这是一个无约束二维问题。例：求优化问题的最优解。这是一个约束最优

2、化问题。无约束问题又可分为一维问题及n维问题，求解一维问题的方法称为一维搜索或直线搜索，在最优化方法中起着十分重要的作用，故单独列出。11约束问题又分为线性规划和非线性规划。3.二次函数1)二次函数的一般形它的矩阵形式是其中,这里是对称矩阵。我们称特殊的二次函数为二次型。（无一次项和常数项）2)正定矩阵设是阶对称矩阵。若且时都有，则称矩阵是正定的；若都有，则称矩阵是半正定的；若且时都有，则称矩阵是负定的。若都有，则称矩阵是半负定的。一个对称矩阵是不是正定的，可用sylvester定理判定，该定理内容是。一个阶对称矩阵是正定矩阵的充分必要条件是，矩

3、阵的各阶主子式都是正的。3)二次函数的最优解析解如矩阵是正定矩阵，的等值面是同心椭球面族。其中心是，还可证明恰是二次目标函数的唯一极小点。11综上所述，对于二次目标函数有有效的求极小点的算法。该算法也可用于一般目标函数小范围内的最优解搜寻，即当搜索区域位于最优点附近时，该方法是一种有效算法。最优化理论中判定一个算法的好坏标准之一，就是把该算法用于为正定的二次目标函数，如果能迅速地找到极小点，那就是好的算法；否则就是不好的或不太好的算法。特别地，当把一个算法应用于为正定的二次目标函数时，如果在有限步内就能求出极小点来，那么这种算法称为二次收敛算法，

4、或具有二次收敛性。4.梯度与Hessian矩阵1)多元函数的可微性与梯度定义1:对于函数，如果存在n维向量，对于任意n维向量,有：，则称在处可微。显而易见，如在处可微，则有：实际上就是的偏导数向量证明如下：令；取，其中是无穷小变量，是第个坐标轴上的单位向量，即：11定义2:以的n个偏导数为分量的向量称为在处的梯度，记为因此，这个公式与一元函数的Taylor展开式是相对应的。2)方向导数定义:设是定义在中区域上的实值函数，在点处可微，是固定不变的常量，是方向上的单位向量，则称极限为函数在点处沿方向的方向导数。若，则从出发在其附近沿方向是下降的。若，

5、则从出发在其附近沿方向是上升。事实上，若，则当且充分小时，必有，即，即是下降的。同理可说明，若，是上升的。定理：设是定义在中区域上的实值函数，在点处可微，则，其中是方向的单位向量。证明：因为11推论：若，则方向是函数在点处的下降方向；若，则方向是函数在点处的上升方向；方向导数的正负决定了函数的升降，其绝对值的大小决定函数值升降的快慢。绝对值越大，升降的速度就越快。3)最速下降方向其中是梯度与方向的夹角。因此，函数负梯度方向就是函数的最速下降方向。4)梯度的性质①函数在某点的梯度若不为零，则必与过该点的等值面垂直。②梯度方向是函数具有最大变化率的方

6、向。③若，则，即④⑤⑥5)Hessian矩阵(1)向量值函数的导数设是定义在中区域上的向量值函数,如果的所有分量在点都可微，那么向量值函数在点处称为可微。若在点处可微，则对于任意的n维向量都有11因为向量的极限是通过它所有分量的极限来定义的，所以上式等价于其中称为函数在点处的导数。也称函数在点处的Jacobi矩阵。设，并且，其中是n元函数，假定它具有二阶连续偏导数。则：在微积分中已经证明过，当的所有二阶偏导数连续时，有，在这种情况下，Hessen矩阵是对称的。(2)几个特殊向量的导数①,其中是分量全为常数的维向量，是阶零矩阵。②，③3)的一二阶导

7、数11设5.多元函数的Taylor展开式定理:设是定义在中区域上的实值函数，具有二阶连续偏导数，则：其中，而证明：设，于是按一元函数Taylor展开定理把在点展开，得到，其中。，因此，因此代入上式，即得证。多元函数的Taylor展开式还可写为：6.极小点及其判定条件1)基本定义邻域定义：对于任意给定的实数,满足不等式的的x的集合称为点的邻域，记为11非严格局部极小点：设，若存在点和数，都有，则称为的非严格局部极小点。严格局部极小点：：设，若存在点和数，但都有，则称为的严格局部极小点。非严格全局极小点：设，若存在点和数，都有，则称为的非严格全局极小

8、点。严格全局极小点：设，若存在点和数，都有，则称为的严格全局极小点。在求解最优化问题时，要求求取全局极小点，可先求出所有的局部极小点，再