基于随机梯度下降的神经网络权重优化算法

《基于随机梯度下降的神经网络权重优化算法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、单位代码10635学号112015321001524硕士学位论文基于随机梯度下降的神经网络权重优化算法论文作者：张晋晶指导教师：李莉学科专业：计算机软件与理论研究方向：神经网络优化提交论文日期：2018年4月8日论文答辩日期：2018年5月26日学位授予单位：西南大学中国•重庆2018年5月目录摘要.................................................................IAbstract.....................................

2、......................III1.绪论..............................................................11.1研究背景与意义...............................................11.2国内外研究现状...............................................31.3研究内容..............................................

3、.......41.4论文组织结构.................................................61.5本章小结.....................................................72.基础模型概述......................................................92.1随机梯度下降（SGD）..........................................92.2Momentum..

4、..................................................102.3Adagrad.....................................................112.4Adadelta....................................................122.5Adam........................................................132.6本章小结.......

5、.............................................143.自适应机制动态地获取学习率.......................................153.1自适应机制动态地获取学习率..................................153.1.1AEDR自适应机制........................................153.1.2AEDR-Adadelta................................

6、..........183.1.3AEDR-Adam..............................................193.2.4收敛性分析.............................................203.2实验设计与结果分析..........................................223.2.1实验数据准备...........................................23I3.2.2文本分析的实验结果...

7、..................................243.2.3图像分析的实验结果.....................................303.3本章小结....................................................324.梯度方差缩减的随机梯度下降法.....................................354.1SMVRG算法的相关介绍.........................................

8、354.2实验设计与结果分析..........................................374.2.1数据准备...............................................374.2.2网络结构与参数设置.....................................384.2.