资源描述：
《无约束(多维)最优化ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第七讲无约束(多维)最优化梯度法（最速下降法）牛顿法与拟牛顿法变尺度法(DFP法)共轭梯度法模式搜索法Powell法单纯形加速法最小二乘法12.牛顿法3.拟牛顿法(变尺度法)1、梯度法（最速下降法）：多变量无约束优化间接法;)(:kkkxfHdÑ-=搜索方向23.拟牛顿法(变尺度法)4.特殊拟牛顿法1——DFP算法：5.特殊拟牛顿法2——BFGS算法：;)(:kkkxfHdÑ-=搜索方向多变量无约束优化间接法36.共轭梯度法1——7.共轭梯度法2——多变量无约束优化间接法4无约束最优化问题的直接方法一、模式
2、搜索法二、Powell算法三、单纯形替换法57.1模式搜索法步长加速法678910yesno1yes2NoyesNo111NoyesNoYesYesNo2停；x为解1213(1)步长加速法的收敛速度是线性的，且如果目标函数可微，则可收敛到平稳点。(2)由于步长加速法不使用导数，故可应用于任何形式的目标函数，应用范围极广。(3)在进行坐标轮换试探时，如果不采用固定步长（亦称离散步长）而使用一维搜索技术求目标函数在坐标方向的极小点，则可加速迭代速度。4.步长加速法性质与评价14157.2Powell方法162、
3、原始Powell法步骤：171819202122232425262728291.单纯形加速法:Spendley、Hext和Himsworth于1962年提出;Nelder和Mead1965年改进问题:7.3单纯形加速替换法复形法单纯形加速法是一种不使用导数的求解无约束极小化问题的直接搜索方法.303.算法思想314.单纯形概念（1）例32（2）单纯形的定义335.如何构造单纯形?34356.单纯形加速法的几何解释劣点形心点反射点延伸点36——形心3738397.单纯形加速法的步骤40414243例:用单
4、纯形加速法解444546可以继续迭代，直到满度一定的精度47h例:用复形法解48hhhh49(一)、线性最小二乘法(二)、非线性最小二乘法1.改进的Gauss-Newton法2.Levenberger-Marquart方法7.4最小二乘法50一、线性最小二乘法1.问题2.性质512.性质52例解5354二、非线性最小二乘法1.一般形式：5556573.改进的Gauss-Newton法：性质:585960三、Levenberger-Marquart方法616263有约束线性最小二乘的标准形式为sub.to其中
5、：C、A、Aeq为矩阵；d、b、beq、lb、ub、x是向量。在MATLAB5.x中，约束线性最小二乘用函数conls求解。三、最小二乘法的Matlab求解1约束线性最小二乘64函数lsqlin格式x=lsqlin(C,d,A,b)%求在约束条件下，方程Cx=d的最小二乘解x。x=lsqlin(C,d,A,b,Aeq,beq)%Aeq、beq满足等式约束若没有不等式约束，则设A=[]，b=[]。x=lsqlin(C,d,A,b,Aeq,beq,lb,ub)%lb、ub满足若没有等式约束，则Aeq=[]，be
6、q=[]。x=lsqlin(C,d,A,b,Aeq,beq,lb,ub,x0)%x0为初始解向量，若x没有界，则lb=[]，ub=[]。x=lsqlin(C,d,A,b,Aeq,beq,lb,ub,x0,options)%options为指定优化参数[x,resnorm]=lsqlin(…)%resnorm=norm(C*x-d)^2，即2-范数。[x,resnorm,residual]=lsqlin(…)%residual=C*x-d，即残差。[x,resnorm,residual,exitflag]=l
7、sqlin(…)%exitflag为终止迭代的条件[x,resnorm,residual,exitflag,output]=lsqlin(…)%output表示输出优化信息[x,resnorm,residual,exitflag,output,lambda]=lsqlin(…)%lambda为解x的Lagrange乘子65例5-15求解下面系统的最小二乘解系统：约束：先输入系统系数和x的上下界：C=[0.95010.76200.61530.4057;…0.23110.45640.79190.9354;…0.
8、60680.01850.92180.9169;…0.48590.82140.73820.4102;…0.89120.44470.17620.8936];d=[0.0578;0.3528;0.8131;0.0098;0.1388];A=[0.20270.27210.74670.4659;…0.19870.19880.44500.4186;…0.60370.01520.93180.8462];b=[0.5251;0.
