多隐层前馈神经网络的随机赋权训练算法研究

《多隐层前馈神经网络的随机赋权训练算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、HEBEIUNIVERSITY密级：分类号：学校代码：10075学号：20140862硕士学位论文多隐层前馈神经网络的随机赋权训练算法研究学位申请人：张天伦指导教师：王熙照教授企业导师：李天山高级工程师学位类别：工程硕士学科专业：软件工程授予单位：河北大学答辩日期：二〇一六年六月ClassifiedIndex:CODE:10075U.D.C:NO:20140862ADissertationfortheDegreeofM.EngineeringResearchonstochasticweighttraining

2、algorithmforfeedforwardneuralnetworkwithmultiplehiddenlayersCandidate:ZhangTianlunSupervisor:Prof.WangXizhaoAdvisorinEnterprise:SNENGR.LiTianshanAcademicDegreeApplied:MasterofEngineeringSpecialty:SoftwareEngineeringUniversity:HebeiUniversityDateofAccomplish

3、ment:June,2016河北大学学位论文独创性声明本人邦重声明：所皇变的学位论文，是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加标注和致谢的地方外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得河北大学或其他教育机构的学位或证书所使用过的材料一。与我同工作的同志对本研究所做的任何贡献巧已在论文中作了明确的说明并表示了致谢。作者签名；杂太你日期：年月公日学位论文使用授权声明本人完全了解河北大学有关保留、使用学位论文的规定，目Ｐ；学

4、校有权保留并向国家有关部口或机构送交论文的复印件和电子版，允许论文被查阅巧借阅。学校可＾＾｜公布论文的全部或部分内容，可［＾１采用影印、缩印或其他复制手段保存论文。■本学位论文属于１、保密□，在年月日解密后适用本授权声。明２、不保密材‘。＂＂（请在１？＾上相应方格巧巧Ｖ）保护知识产权声明本人为申请河北大学学位所提交的题目为４庭居请獅錦洛＞的学位论文，是我个巧魄扼斌瓜列辦似＾寇人在导师）指导并与导师合作下取得的研究成果，研究工化及取得的研究成果是在河北

5、大学所提供的研究经费及导师的研究经费资助下完成的。本人完全了解并严格遵守中华人民共和国为保护知识产权所制定的各项法律、行政法规＾＾及河北大学的相关规定。，本人声明如下：本论文的成果归河北大学所有，未经征得指导教师和河北大学的书面同意和授权，本人保证不Ｗ任何形式公开和传播科研成果和科研工作内容。如果违反本施声明，本人愿意承担相控法律责任。声明人；於日期：年６Ａ台Ｂ作导者签名：兼邊日期：亦Ｍ年月点日师签名：日期；（年／＜月乐日摘要摘要智能软件系统已成为软件工程领域最重

6、要的研发对象之一。无论是学术界还是工业界，都对能使软件智能化的算法产生了浓厚的兴趣。其中，与模式分类有关的算法更是得到了业内的广泛关注，通过对分类算法的研究、优化与创新，使得软件智能化的水平得到了显著的提高。最近几年，人工神经网络在理论上和应用上的突破都引人瞩目，尤其是深层神经网络的优越性正逐渐被人们所认可，国内外很多学者都致力于深层神经网络的研究工作，并提出了大量的优秀算法。深层神经网络模型的种类很多，根据训练算法来分，其中有两类，第一类是基于贪婪算法的逐层预训练的深层神经网络模型；第二种是通过随机赋权方法

7、来构造的深层神经网络模型。本文第一部分的工作主要研究了两类深层神经网络模型中具有代表性的两个模型。其中，基于受限玻尔兹曼机逐层预训练的方法是深度学习的主要方法之一，该方法通过借助物理能量模型来对网络中每一层的参数进行预训练，之后逐层叠加成深度置信网络，通过在最后一层加上softmax层输出网络的分类结果，然后进行网络精调，本文以这个方法为基础，结合广义逆的知识对该方法进行了简化的工作，并进行比较研究；另外，用基于极速学习机的原理来训练得到的深层网络是典型的深层随机赋权网络，该类型的网络以效率著称，并在工业界得

8、到了广泛的应用。本文第二部分的主要工作是对分类器集成方法的研究，并且利用分类器集成的方法将深层神经网络模型进行集成，并将这种方法与深度学习、深度随机赋权网络进行了比较研究。在本文的实验部分，为了使得对比分析结果具有客观性，本文选取了多个不同领域的分类数据集，并且涵盖了数值型和符号型两类数据集，本文通过对深层神经网络、浅层神经网络和本文方法在测试精度、训练时间以及模型的拟合程度等多个方面进行比较研究，