fr共轭梯度法与拟牛顿法计算机实现及仿真

《fr共轭梯度法与拟牛顿法计算机实现及仿真》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、FR共轭梯度法与拟牛顿法计算机实现及仿真信计0701作者：翟铮学号：0120714410105摘要：最速下降法和牛顿法是最基本的无约束最优化方法，但由于最速下降法收敛速度慢而牛顿法虽然收敛速度比较快，但需要计算目标函数的Hesse矩阵及其逆矩阵，计算量比较大。我们这里采用采用一种无需计算二阶导数，但收敛速度比较快的一种算法，即FR共轭梯度。关键词:FR共轭梯度法、拟牛顿法、黄金分割法、最优一维线性搜索、收敛性一、FR共轭梯度法与拟牛顿法1、共轭梯度法在共轭梯度方向法中，如果取初始的搜索方向，而以以下各共轭方向由第k次迭代点的负梯度与已经得到的共轭方向

2、的线性组合来确定，这样就构造了一种具体的共轭方向法。因为每一个共轭方向都依赖于迭代点处的负梯度，所以称之为共轭梯度法（conjugategradientmethod）给定初始点，取初始搜索方向，从出发，沿进行一维搜索，得到迭代点，一下按来构造搜索方向，的选取应该使得和是共轭的。因为且要使和是共轭的，应有，所以于是得到n个搜索方向如下：Fletcher_Reeves公式为2、拟牛顿法：牛顿法成功的关键是利用了Hesse矩阵提供的曲率信息，但计算Hesse矩阵工作量大，并且有的目标函数的Hesse矩阵很难计算，甚至不好求出。针对这一问题，拟牛顿法比牛顿法

3、更为有效。这类算法仅利用目标函数值和一阶导数的信息，构造出目标函数的曲率近似，使方法具有类似牛顿法的收敛速度快的优点。一般的拟牛顿法算法为：给出初始点如果解得搜索方向（或计算）由线性搜索得步长因子校正使得拟牛顿条件成立。本次实验采用DFP校正，校正公式为：一、计算机实现步骤由于该问题设计的问题比较复杂，所用变量多，为防止变量之间的冲突，在下面的程序中全部用函数来实现。函数一：计算函数在任意点处的梯度值。函数名：gradient_my(f,y,num)，参数：f:待求梯度函数y：待求梯度点num:函数变量数函数二：黄金分割法求最优步长。函数名：gold

4、en_search(f,a,b)，参数：f:待求梯度函数a:搜索区间左端点b:搜索区间右端点函数三：共轭梯度法。函数名：conjugate_gradient（f,x0,error），参数：f:待求梯度函数x0:初始点error：允许误差函数四：拟牛顿法函数名：quasi_Newton(f,x0,error),参数：f:待求梯度函数x0:初始点error：允许误差三、实验结果及仿真第一题、Rosenbrock函数设定黄金分割法的步长区间为，搜索精度为0.001，设定共轭梯度法误差为：0.001调用函数：conjugate_gradient(f,[-1.

5、2,1],0.001);结论：从图上可以看到利用共轭梯度法求解过程中，从初始点向收敛点迭代的步长是阶段性的变化的，期间有的阶段步长很小，阶段间的步长比较大。此方法在搜索在收敛中比较快，有效的避免了最速下降法的锯齿效应。第三题：Wood函数解：我们用上述的共轭梯度法求解，导致搜索精度低，达不到函数停止迭代的下限，当搜索次数增大时，导致了迭代不收敛，因此我们试图改用拟牛顿法来求解，观察拟牛顿法在处理高维函数时的优异性。我们用拟牛顿法设定搜索步长区间为[-15,15]，误差精度为：0.001得到的结果如下：迭代次数XYZW1-3.00000-1.00000

6、-3.00000-1.000002-2.19396-0.86038-2.27451-0.873813-2.44735-0.57344-2.05230-0.547474-3.089655.91018-2.949035.3130851.830036.503150.985705.777276-2.588367.31350-2.552965.748667-2.077204.07977-2.885778.548658-2.080723.93519-2.932658.636719-1.427401.08110-3.2210010.4600910-0.805270

7、.27410-3.062168.88119761.073141.143600.913940.81642771.061641.124780.927290.84102781.044451.096630.947330.87837791.019631.042880.966660.91740801.016301.038850.967760.92561811.010661.031290.970720.94075820.977680.960091.011251.02000830.968220.939311.024781.04712840.988390.978461

8、.009751.02145851.000251.000871.000221.00027861.000201.