基于多新息理论的深度信念网络算法

《基于多新息理论的深度信念网络算法》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。基于多新息理论的深度信念网络算法　　摘要：　　针对深度信念网络算法在采用反向传播修正网络的连接权值和偏置的过程中，容易产生梯度小、学习率低、误差收敛速度慢等问题，提出一种结合多新息理论对标准DBN算法进行改进的算法，即多新息DBN。MIDBN算法是对标准DBN算法中反向传播的过程重新建模，使得算法在原先只利用单个新息的情况下，扩展为能够充分利用之前多个周期的新息，从而大幅提高误差

2、收敛速度。通过实验对MIDBN算法和其他分类算法进行了数据集分类的比较，实验结果表明，MIDBN算法相较其他分类算法，其误差收敛速度较快，而且最终对MNIST数据集和Caltech101数据集的识别中误差结果相对更小。　　关键词：　　深度信念网络算法；误差收敛速度；多新息理论；反向传播　　中图分类号：　　　　文献标志码：A　　Abstract：　　Aimingattheproblemofsmallgradient，lowlearningrate，slowconvergenceoferrorduringthe为了充分发挥“教学点数字教育资源全覆盖”项目设备

3、的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。processofusingDeepBeliefNetworkalgorithmtocorrectconnectionweightandbiasofnetworkbythemethodofbackpropagation，anewalgorith

4、mcalledMultiInnovationDBNwasproposedbasedoncombinationofstandardDBNalgorithmwithmultiinnovationtheory.ThebackpropagationprocessinstandardDBNalgorithmwasremodeledtomakefulluseofmultipleinnovationsinpreviouscycles，whiletheoriginalalgorithmcanonlyusesingleinnovation.Thus，theconverge

5、ncerateoferrorwassignificantlyincreased.MIDBNalgorithmandotherrepresentativeclassifierswerecomparedthroughexperimentsofdatasetsclassification.ExperimentalresultsshowthatMIDBNalgorithmhasafasterconvergenceratethanothersortingalgorithms；especiallywhenidentifyingMNISTandCaltech101da

6、taset，MIDBNalgorithmhasthefewestinaccuraciesamongallthealgorithms.　　英文关键词Keywords：　　DeepBeliefNetworkalgorithm；errorconvergencerate；multiinnovationtheory；backpropagation　　0引言为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资

7、源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。　　深度学习[1]近几年来在人工智能领域取得重要突破。深度学习中的模型有多种，有一种无监督的学习算法――深度信念网络学习算法[2-3]，这种方法可以创建一些网络层来检测特征而不使用带标签的数据，这些网络层可以用来重构或者对特征检测器的活动进行建模。通过预训练过程，深度网络的权值可以被初始化为有意义的值，然后一个输出层被添加到该网络的顶部，并且使用标准的反向传播算法进行微调，这个工作对手写数字的识别效果显著

8、。　　Hinton等[2]将DBN应用于对MNIST数据集的数字识别任务上。他提