梯度法讲解学习.ppt

《梯度法讲解学习.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、梯度法1、梯度法的提出计算目标函数的一阶导数、甚至二阶导数的方法即为梯度法。梯度法又被称为最速下降法，是1847年由著名数学家Cauchy（柯西）给出的，它是解析法中最古老的一种，其他解析方法或是它的变形，或是受它的启发而得到的，因此它是最优化方法的基础。它的理论和方法渗透到许多方面，特别是在军事、经济、管理、生产过程自动化、工程设计和产品优化设计等方面都有着重要的应用。研究梯度法原理及其算法实现对我们有着极其重要的意义。2、梯度法的内容几个概念1、梯度：f(x)是定义在Rn上的可微函数，称以f(x)的n

2、个偏导数为分量的向量，为f(x)的梯度，记作▽f(x)即：2、梯度向量：上式即为为f(x)在x0处的梯度向量。3、梯度▽f(x)的模：梯度法的基本原理由高等数学知识知道任意一点的负梯度方向是函数值在该点下降最快的方向，那么利用负梯度作为极值搜索方向，达到搜索区间最速下降的目的。而由极值点导数性质，知道该点的梯度=0，故而其终止条件也就是梯度逼近0，也就是当搜索区间非常逼近极值点时。即：当ff(a)0f(a)f(x)极值，f(a)即为所求。基本思想1、任一点的负梯度方向是函数值在该点下降最快的方向。2、

3、将n维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题。3、利用负梯度作为搜索方向，故称最速下降法或梯度法。收敛准则：具体步骤求解问题1、选定初始点,给定精度要求,令；2、若，则停，，否则令；3、在处沿方向做一维搜索得于是，就有上式表明方向和是正交的.3、梯度法的特点优点初始点可任选，每次迭代计算量小，存储量少，程序简短。即使从一个不好的初始点出发，开始的几步迭代，目标函数值下降很快，然后慢慢逼近局部极小点。缺点梯度方向目标函数值下降迅速只是个局部性质，从整体来看，不一定是收敛最快的方向。以二维二

4、次函数为例，相邻两次的搜索方向是正交的，所以搜索路径是曲折的锯齿形的；对于高维的非线性函数，接近极值点处，容易陷入稳定的锯齿形搜索路径。四、梯度法的例题试用梯度法求的极小点。迭代两次，计算各迭代点的函数值、梯度、及其模，并验证相邻两个搜索方向是正交的。解：设初始点为.由利用必要条件对于解二次函数最小值问题时，由于最速下降法中，当迭代点接近极小点时，步长变得很小，越走越慢。所以把此法改进为共轭梯度法。此课件下载可自行编辑修改，仅供参考！感谢您的支持，我们努力做得更好！谢谢