基于曲率信息的受限玻尔兹曼机训练算法

《基于曲率信息的受限玻尔兹曼机训练算法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基基基于于于曲曲曲率率率信信信息息息的的的受受受限限限玻玻玻尔尔尔兹兹兹曼曼曼机机机训训训练练练算算算法法法ACurvatureInformationbasedRBMTrainingAlgorithm专业：计算机技术作者姓名：糜帅指导教师：侯越先教授天津大学计算机学院二零一五年十二月摘要受限玻尔兹曼机是多种被广泛应用的深度学习模型的组成部分，如深度置信网络和深度玻尔兹曼机等。受限玻尔兹曼机的训练会因为病态问题而变得极度缓慢。可以运用二阶优化算法，如牛顿方法来解决病态问题。但是，由于受限玻尔兹曼机的非凸性，二阶优化算

2、法无法应用于其训练过程。为了克服这一阻碍，本文提出运用迭代映射拟牛顿法训练受限玻尔兹曼机。本算法通过迭代执行不需要更新参数的采样步骤和能够保证凸性的子训练步骤来训练受限玻尔兹曼机。在子训练阶段，我们应用拟牛顿法来解决病态问题。进一步地，本文证明了在受限玻尔兹曼机的训练中，拟牛顿法是自然梯度法的近似方法。本文在仿真数据集和MNIST数据集上分别进行了一系列实验，实验结果显示迭代映射拟牛顿法实现了比传统的对比散度法更好的收敛。关键词：受限玻尔兹曼机，对比散度法，牛顿方法，自然梯度法ABSTRACTTherestrict

3、edBoltzmannmachine(RBM)hasbeenusedasbuildingblocksformanysuccessfuldeeplearningmodels,e.g.,deepbeliefnetworks(DBN)anddeepBoltzmannmachine(DBM)etc.ThetrainingofRBMcanbeextremelyslowinpathologicalregions.Thesecondorderoptimizationmethods,suchasquasi-Newtonmethod

4、s,wereproposedtodealwiththisproblem.However,thenon-convexityresultsinmanyobstructionsfortrain-ingRBM,includingtheinfeasibilityofapplyingsecondorderoptimizationmethods.Inordertoovercomethisobstruction,weintroduceanem-likeiterativeprojectquasi-Newton(IPQN)algori

5、thm.Specifically,weiterativelyperformthesamplingprocedurewhereitisnotnecessarytoupdateparameters,andthesub-trainingprocedurethatisconvex.Insub-trainingprocedures,weapplyquasi-Newtonmethodstodealwiththepathologicalproblem.WefurthershowthatNewton’smethodturnsoutt

6、obeagoodapproximationofthenaturalgradient(NG)methodinRBMtraining.WeevaluateIPQNinaseriesofdensityestima-tionexperimentsontheartificialdatasetandtheMNISTdigitdataset.ExperimentalresultsindicatethatIPQNachievesanimprovedconvergentperformanceoverthetraditionalCDme

7、thod.Keywords:restrictedBoltzmannmachine,contrastivedivergence,Newtonmethod,naturalgradient目录第一章绪论:::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::11.1研究背景及意义::::::::::::::::::::::::::::::::::::::::::::

8、::::::::::::::::::::::::::::::::::::::::::::::11.1.1机器学习及其局限性:::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::11.1.2人工神经网络与深度学习:::::::::::::::::::::::::::