优化算法-梯度下降法

优化算法-梯度下降法

ID:1524940

大小:171.00 KB

页数:9页

时间:2017-11-12

优化算法-梯度下降法_第1页
优化算法-梯度下降法_第2页
优化算法-梯度下降法_第3页
优化算法-梯度下降法_第4页
优化算法-梯度下降法_第5页
资源描述:

《优化算法-梯度下降法》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、梯度下降法1梯度下降法又称最速下降法。函数J(a)在某点ak的梯度是一个向量,其方向是J(a)增长最快的方向。显然,负梯度方向是J(a)减少最快的方向。在梯度下降法中,求某函数极大值时,沿着梯度方向走,可以最快达到极大点;反之,沿着负梯度方向走,则最快地达到极小点。23求函数J(a)极小值的问题,可以选择任意初始点a0,从a0出发沿着负梯度方向走,可使得J(a)下降最快。s(0):点a0的搜索方向。4对于任意点ak,可以定义ak点的负梯度搜索方向的单位向量为:从ak点出发,沿着方向走一步,步长为,得到新点ak+1,表示为:56因此,在新点ak+1,函数J(a)的函数值为:所有的ak组

2、成一个序列,该序列由迭代算法生成a0,a1,a2,….,ak,ak+1,...该序列在一定条件下收敛于使得J(a)最小的解a*迭代算法公式:7迭代算法公式:关键问题:如何设计步长如果选得太小,则算法收敛慢,如果选得太大,可能会导致发散。8梯度法的迭代过程:选取初始点a0,给定允许误差α>0,β>0,并令k=0。计算负梯度及其单位向量。检查是否满足条件,若满足则转8,否则继续。计算最佳步长。令:计算并检验另一判据:,满足转8,否则继续。令k=k+1,转2。输出结果,结束。9

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。