基于受限玻尔兹曼机的深度学习模型及其应用

《基于受限玻尔兹曼机的深度学习模型及其应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ＮＡＵＮＮＤＴＣＨＮＯＬＯＧＹＯＦＣＨＩＩＶＥＲＳＩＴＹＯＦＥＬＥＣＴＲＯＮＩＣＳＣＩＥＮＣＥＡ亡硕壬学位论文ＭＡＳＴＥＲＴＨＥＳＩＳ禱．气沒透爵＾綱＿学科专业计算数学学号２０１３２１１００２１１作者姓名张艳霞指导教师张勇副教授独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。提我所知，除了文中特别加标注和致谢的地方夕ｈ论文中不包含其他人己经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它

2、教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。作者签名：日期：；。你月２日聲格巧／《多论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部口或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可レッ将学位论文的全部或部分内容编入有关数据库进行检索，可［＾采用影印、缩印或扫描？等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）作者签名：永輪章导师签名：與葛曰期；年

3、《月曰分类号密级注1UDC学位论文基于受限玻尔兹曼机的深度学习模型及其应用（题名和副题名）张艳霞（作者姓名）指导教师张勇副教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业计算数学提交论文日期2016.3.29论文答辩日期2016.5.12学位授予单位和日期电子科技大学2016年6月答辩委员会主席冷劲松评阅人李厚彪李明奇武德安陈小杰注1：注明《国际十进分类法UDC》的类号。DeepLearningModelsandApplicationsBasedonTheRestrictedBoltzmannMachineAMasterThesisSub

4、mittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:ComputationalMathematicsAuthor:ZhangYanxiaSupervisor:A.Prof.ZhangYongSchool:SchoolofMathematicalSciencesUESTC摘要摘要深度学习是一种新式的多层神经网络模型，拥有强大的表示能力，用途广泛，引起了机器学习界普遍的关注。受限玻尔兹曼机(RestrictedBoltzmannMachines,RBM)是一类基于概率的随机神经网络模型，具备两

5、层结构，满足层间全连接，层内无连接，可以有效地提取特征，也可以用来预训练传统的前馈神经网络，明显地提高网络的判别能力，如果堆叠多个RBM形成的深度置信网络(DeepBeliefNetwork,DBN)，则能抽取到更抽象的特征。鉴于RBM的优势，本文基于RBM的基本模型，从公式推导、算法、参数设置以及收敛性理论等基本内容展开，重点研究的工作包括以下几个方面：1.在RBM模型的基础上，研究了两种不同的稀疏RBM模型：SpRBM与LogSumRBM，并结合PolyakAveraging在随机梯度下降时加速收敛的优势，对稀疏RBM模型的学习算法作了改进，从平均重构误差和

6、算法复杂度方面分析了算法改进之后模型求解结果之间的差异与优势。2.借鉴RBM的两种评估策略（重构误差法和退火式重要性采样法），将其应用到SpRBM与LogSumRBM模型的评估中，实验详细验证了评估的可行性与效率，从评估的角度表明了LogSumRBM模型比SpRBM模型更优。3.研究了DBN网络的层数对模型性能的影响，确定了模型达到最优时的层数(4层)，依次构建了4层与5层非线性深度网络，使用基于RBM的不同深度网络模型3DBN、3SpDBN、3LogSumDBN以及4DBN、4SpDBN、4LogSumDBN分别作为4层网络与5层网络的预训练，并在MNIST和

7、UCI数据集上进行了分类、识别，经过实验对比，表明了基于PolyakAveraging策略求解的LogSumDBN模型是最优的模型，具有更好的稀疏特征表征能力和判别能力。这与上述评估结果不谋而合。关键词：深度学习，受限玻尔兹曼机，退火式重要性采样，深度置信网络IABSTRACTABSTRACTAsanewmodeloftrainingMulti-layerNeuralNetworkwithastrongpowerofrepresentationandawiderangeofuses,DeepLearninghasinducedattentionofmachine

8、learningcomm