Lecture 5-6 非线性规划及Matlab实现_修改

《Lecture 5-6 非线性规划及Matlab实现_修改》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章非线性规划及Matlab实现华南理工大学模具研究室mesjzhang@scut.edu.cn非线性规划基本概念及分类当目标函数或约束条件中有一个或多个为非线性函数，则称这样的规划问题为非线性规划（NonlinearProgramming）。其数学模型为：非线性规划无约束非线性规划约束非线性规划梯度(gradient)设n元函数f(x)在点x处可微，则称以下向量为f(x)在点x处的梯度梯度的几何意义：如果函数f(x)在点x处的梯度是非零向量，那么就是f(x)的等值面在点x处的法向量，垂直于等值面在点x处的切平面，

2、且指向f(x)的函数值增大的方向。Hessian矩阵(HessianMatrix)设n元函数f(x)在点x处二次可微，将f(x)在x点的二阶偏导数按如下组成，则称是函数f(x)在x点的Hessian矩阵。Hessian矩阵和梯度的内在关系方向导数(directionderivative)设f(x)在点x处可微，d是给定的非零向量，如果极限：存在，则称此极限为函数f(x)在点x处沿着方向d的方向导数，记：下降方向(descentdirection)设d是非零向量，若存在正数ε>0，当tЄ(0,ε)时，必有：则称方向d是

3、函数f(x)在点x处的一个下降方向。如果函数f(x)在点x沿着方向d的方向导数满足条件：那么方向d必是函数f(x)在点x处的一个下降方向。负梯度方向称为最速下降方向。参看：Lecture5Non-linearProgramming.pdf3.2.1节判断是否下降方向的一个简单方法就是看该方向与负梯度方向之间的夹角。正定矩阵考虑二次型，z为n维向量正定的二次型：若对于任意，有；半正定的二次型：若对于任意，有；负定的二次型：若对于任意，有；半负定的二次型：若对于任意，有；不定二次型：，有，又，有.二次型为正定的充要条件是

4、它的矩阵的左上角各阶主子式都大于零.矩阵M的所有的特征值λi都是正的。函数Taylor展开相关数学基础知识参看：Lecture4MathematicalPreliminaries.pdf无约束非线性规划最优性条件局部极小点、全局极小点、非光滑的极小点局部极小的条件－极小点的类型无约束问题的最优性条件无约束极小点的一阶必要条件：设f(x)在点x处可微，若x是f(x)的无约束局部极小点，则必有梯度无约束极小点的二阶充分条件：设f(x)在点x处二次可微，若x是f(x)的无约束局部极小点，则必有梯度，且f(x)在x处的Hes

5、sian矩阵半正定。严格无约束局部极小点充分条件：设f(x)在x处二次可微，若梯度，且f(x)在x处的Hessian矩阵正定，则可断言x是严格局部极小点例：利用极值条件解优化问题算法及相关概念1、迭代算法集合D上的迭代算法A：（1）初始点；（2）按照某种规则A产生下一个迭代点。（i）如果点列收敛于最优解，则称算法A收敛。（ii）如果，则称算法A为下降迭代算法。....2.下降迭代算法步骤（1）给出初始点，令；（2）按照某种规则确定下降搜索方向；（3）按照某种规则确定搜索步长，使得；（4）令，；（5）判断是否满足停止条

6、件。是则停止，否则转第2步。搜索步长确定方法：称。为最优步长，且有模型算法线性搜索求，新点使x(k+1)∈S初始x(1)∈S,k=1对x(k)点选择下降可行方向d(k)是否满足停机条件？停k=k+1yesno3.终止条件b.d.a.c.xkxk+1xkxk+1x*一般而言，线性收敛速度是比较慢的，超线性收敛速度相对较快，而二阶收敛速度则相当快。如果一个算法具有超线性收敛速度，那么从计算的角度就可以认为是一个比较好的算法则称的收敛阶为。a.设算法A所得的点列为，如果b.4.收敛速度单谷函数（单峰函数）：设f(t)是定义

7、在区间[a,b]上的一元函数，t*是f(t)在[a,b]上的全局极小点。如果在[a,b]上任取两个点t1f(t2)；而当t1≥t*时，必有f(t1)f(t2)，则搜索区间可缩短为[t1,b]；如果f(t1)≤f(t2)，则搜索区间可缩短为[a,t2]；无约束优化：线搜索法给定初始估计x(0)，

8、设x(k)处有g(k)≠0，则第k次迭代：(a)中的搜索方向有许多种不同的确定方法！根据某种模型函数确定x(k)处的搜索方向d(k)线搜索：确定的极小点置(b)中的确定步长：精确线搜索、非精确线搜索一维收索的方法很多，大致可以分为两类：一为不使用导数的方法，如进退法、Fibonacci法、0.618法；二为使用导数的方法，如对分法、牛顿法、抛物