资源描述：
《无约束（多维）最优化ppt培训课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第七章无约束(多维)最优化梯度法（最速下降法）牛顿法与拟牛顿法变尺度法(DFP法)共轭梯度法模式搜索法Powell法单纯形加速法最小二乘法1序无约束最优化问题解析方法：利用函数的解析性质——驻点，得到最优解。数值方法：利用函数的解析性质构造迭代公式使之收敛到最优解。2无约束问题的最优性条件定理1定理2梯度为0的点称为函数的驻点。驻点可能是极小点，也可能是极大点，也可能即不是极大也不是极小，这时称为函数的鞍点。定理2说明：UMP问题的局部最优解必是目标函数的驻点。注：（一阶必要条件）3定理3定理4（二阶充分条件）（若改成Hesse矩阵半正定，则成为二阶必要条件）4迭代公式：如何选择下
2、降最快的方向？7.1梯度法（最速下降法）5一、梯度法（最速下降法）：二、梯度法算法步骤：6最速下降法框图x(1),ε>0,k=1
3、
4、▽f(x(k))
5、
6、<ε或
7、
8、d(k)
9、
10、<ε?Yesstop.x(k)–解Nod(k)=－▽f(x(k))解minf(x(k)+λd(k))s.t.λ>0得x(k+1)=x(k)+λkd(k)k=k+17解：例１8三、最速下降法的特点1.性质.92.最速下降法的锯齿现象10特点：线性收敛，易产生扭摆现象而造成早停。（当x(k)距最优点较远时，速度快，而接近最优点时，速度下降）原因：f(x)=f(x(k))+▽f(x(k))T(x-x(k))+o
11、
12、(x-x
13、(k))2
14、
15、当x(k)接近x*，时▽f(x(k))→0，于是高阶项o
16、
17、x-x(k)
18、
19、的影响可能超过▽f(x(k))T(x-x(k))。如果用f(x)的Taylor展开近似计算？——牛顿法111.问题7.2Newton法如果用f(x)的Taylor展开近似计算？122.算法思想13143.算法步骤15算法框图（一维）给定初始点x0和精度是是停止，输出x0是否停止，解题失败否停止，输出x1否16例1：解：取x0=1,计算：迭代过程如下表：1.1370.11630.11692-0.00106131.3258-0.5178-0.570810.50000.78541017（ii）编写M文件n
20、wfun.m如下：function[f,df,d2f]=nwfun(x);f=x(1)^4+25*x(2)^4+x(1)^2*x(2)^2;df(1)=4*x(1)^3+2*x(1)*x(2)^2;df(2)=100*x(2)^3+2*x(1)^2*x(2);d2f(1,1)=12*x(1)^2+2*x(2)^2;d2f(1,2)=4*x(1)*x(2);d2f(2,1)=d2f(1,2);d2f(2,2)=300*x(2)^2+4*x(1)*x(2);编写M文件nwfun2.m：clcx=[2;2];[f0,g1,g2]=nwfun(x)whilenorm(g1)>0.00001i=1
21、:3p=-inv(g2)*g1',p=p/norm(p)t=1.0,f=detaf(x+t*p)whilef>f0t=t/2,f=detaf(x+t*p),%步长减半endx=x+t*p[f0,g1,g2]=nwfun(x)end18收敛速度快，为二阶收敛。(2)初始点的选取困难，甚至无法实施。4.算法特点存在缺点及修正初始点要选在最优点附近。19阻尼Newton法207.3拟牛顿法(变尺度法)一、拟牛顿法的思想212223分析：。kkkkkxxggH-=-+++111)(24Step4.判断是否满足终止准则：yes:计算stop,No:转step5。;)(.2kkkxfHdStepÑ-
22、=计算搜索方向拟Newton条件或拟Newton方程:25Step4.判断是否满足终止准则：yes:计算stop,No:转step5。267.4DFP算法一、DFP法的提出272829三、DFP算法的步骤改为:30四、变尺度法算法框图：x(1),H(1)对称ε>0,k=1d(k)=-H(k)▽f(x(k))一维搜索得λkx(k+1)=x(k)+λkd(k)
23、
24、x(k+1)-x(k)
25、
26、<ε?修正H(k)产生H(k+1)Stop.x(k+1)----解k=k+1yN31例解32334.6.33435六、变尺度法的主要特点⑴只需用到函数的一阶梯度；（Newton法用到二阶Hesse阵）⑵下降
27、算法，故全局收敛；⑶不需求矩阵逆；（计算量小）⑷一般可达到超线性收敛；（速度快）⑸有二次终结性。36一、共轭方向和共轭方向法共轭是正交的推广。1．定义7.5共轭梯度法372．共轭方向设直线AB和CD过椭圆中心，且CD平行于椭圆在点A，B的切线，则称AB与CD为共轭直径，与的方向为共轭方向，（或A,B的切线方向与称为共轭方向）见图1。®-AB®-CD®-AB的方向ABCD图138定理1393.几何意义4041424.共轭方向法435.
