数值优化方法上机报告.docx

《数值优化方法上机报告.docx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数值优化方法上机报告信计12徐文豪21109020391.Broyden族算法简介Broyden校正族是由BFGS和DFP校正的凸组合产生的的一类校正族，其关于Hesse矩阵近似矩阵的表达式如下：(1)其中，是实参数，由下式定义：(2)对应的，关于逆Hesse矩阵近似矩阵的Broyden族校正公式为：(3)其中是实参数，由下式定义：(4)对应的Broyden算法流程图如下：92.用随机方法实现Wolfe和Goldstein准则（自己想的）2.1Wolfe准则简介Wolfe准则是常用的非精确线性搜索准则，

2、是在方向确定时寻找较好的步长，其确定步长满足如下两个要求即可：(5)(6)2.2用随机方法实现Wolfe准则关于Wolfe准则的实现，教材的给的方法是使用两点插值公式获得下一个迭代点，效果很好，但编程有点繁琐，我想到了一种用随机数产生下一个迭代点的方法，编程及其简单，且运行效果只比两点插值略差一点。算法流程图如下：9用随机化方法实现是实现非精确线性搜索准则，不仅有编码简单的优点，也有鲁棒性的有点，比如教材上并没有给出Goldstein准则的算法实现，我照着用两点二次插值公式试了一下，效果很差，但用随机方

3、法实现的Goldstein准则却效果很好。由于在必然有满足Wolfe准则或Goldstein准则的步长，因此随机算法一定是可行的，所差的只是时间问题，又因为随机数的分散性，我们有理由相信，随机算法能够在较好的时间内得到所要的步长。3.三种非精确线性搜索准则效果比较对如下无约束优化问题：(7)固定初始迭代点为，梯度的终止误差为，则在Broyden族算法的总体框架下，通过比较不同非精确定性搜索准则的运行时间，可以比较不容非精确性线性搜索准则的效果，通过附录中的程序1和程序3得到对应结果，列表如下：搜索准则运

4、行时间(s)Armijo准则4.398Wolfe准则随机实现10.311Wolfe准则插值实现9.923Goldstein准则随机实现11.0824.实现论文中的算法陈兰平和焦宝聪的论文《一般无约束优化问题的广义拟牛顿法》提出了一种对牛顿法中Hesse矩阵的一种新的近似，并证明了其收敛性，其校正公式如下：(8)其中，，为0到1间的可调节参数。9附录中的程序2实现了此算法，并给出了不同的非精确线性搜索准则选择，对无约束优化问题（7）,在之前所给的初值和梯度终止误差下，根据程序2和程序3得到对应结果，列表如

5、下：搜索准则运行时间(s)Armijo准则5.986Wolfe准则随机实现12.070Wolfe准则插值实现10.762Goldstein准则随机实现14.885从结果可以看出，校正公式（8）相对于Broyden族校正公式效果略差，但也相差不远。5.附录程序1：function[x,val,k]=broyden(f,para,x)tic;[lx,ly]=size(x);iflx==1x=x';endgf=jacobian(f,para);Hf=jacobian(gf,para);phi=0.5;epsi

6、lon=1e-5;k=0;H=inv(subs(Hf,para,x));whilek<100g=subs(gf,para,x)';ifnorm(g)

7、e准则随机法实现%num=0;%alpha=rand();%flag=subs(f,para,x+alpha*d)-subs(f,para,x);%grad=subs(gf,para,x+alpha*d)';%rho=0.1;sigma=0.7;%while(flag>rho*alpha*g'*d

8、

9、grad'*d

10、x+alpha*d)';%num=num+1;%end%fprintf('num=%d',num);%Wolfe准则插值实现%num=0;%a=0;b=1;%alpha=a;%rho=0.1;sigma=0.7;%whilenum<10%whilesubs(f,para,x+alpha*d)>subs(f,para,x)+rho*alpha*subs(gf,para,x)*d%alpha=a-1/2*((alpha-a)^2*subs(