欢迎来到天天文库
浏览记录
ID：39824994
大小：292.92 KB
页数：9页
时间：2019-07-12
《优化算法-梯度下降法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、梯度下降法1梯度下降法又称最速下降法。函数J(a)在某点ak的梯度是一个向量，其方向是J(a)增长最快的方向。显然，负梯度方向是J(a)减少最快的方向。在梯度下降法中，求某函数极大值时，沿着梯度方向走，可以最快达到极大点；反之，沿着负梯度方向走，则最快地达到极小点。23求函数J(a)极小值的问题，可以选择任意初始点a0,从a0出发沿着负梯度方向走，可使得J(a)下降最快。s(0)：点a0的搜索方向。4对于任意点ak，可以定义ak点的负梯度搜索方向的单位向量为:从ak点出发，沿着方向走一步，步长为,得
2、到新点ak+1,表示为：56因此，在新点ak+1，函数J(a)的函数值为：所有的ak组成一个序列，该序列由迭代算法生成a0,a1,a2,….,ak,ak+1,...该序列在一定条件下收敛于使得J(a)最小的解a*迭代算法公式：7迭代算法公式：关键问题：如何设计步长如果选得太小，则算法收敛慢，如果选得太大，可能会导致发散。8梯度法的迭代过程：选取初始点a0，给定允许误差α>0,β>0,并令k=0。计算负梯度及其单位向量。检查是否满足条件，若满足则转8，否则继续。计算最佳步长。令：计算并检验另一判据：，
3、满足转8，否则继续。令k=k+1,转2。输出结果，结束。9
此文档下载收益归作者所有
