基于确定性丢弃连接的深度卷积神经网络算法 - 副本

《基于确定性丢弃连接的深度卷积神经网络算法 - 副本》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于确定性丢弃连接的深度卷积神经网络算法DeepConvolutionalNeuralNetworksBasedonDeterministicDropConnect学科专业：信息与通信工程作者姓名：李鸿杨指导教师：庞彦伟教授天津大学电气自动化与信息工程学院二零一七年十一月摘要卷积神经网络是一种被广泛使用的深度学习算法，在图像识别、语音处理和生物医疗等众多领域取得了重大成果。随着计算机技术的飞速发展，大数据的获取和高性能计算都成为可能，这极大地促进了卷积神经网络的发展。但是其依然存在一些缺点，需要对其进一步地研

2、究改进。相比于传统的神经网络，深度卷积神经网络能够学习更丰富和更具识别力的特征，但是由于其具有更深的层数和更多的参数量，所以容易产生过拟合问题。针对这一问题，本文提出了一种基于确定性丢弃连接的深度神经网络算法。该算法在训练过程中确定性地丢弃滤波器中绝对值较小的权重，增加网络的稀疏性，避免网络对训练数据产生记忆，从而抑制深度卷积神经网络的过拟合现象。在图像分类实验中，本文提出的确定性丢弃连接算法能有效提升网络的分类性能，相比于其它正则化方法具有更好的效果。由于参数较多、计算复杂度较高，深度卷积神经网络在一些计算

3、及内存受限的设备上应用受限。目前基于单分类器的卷积神经网络中所有样本都需要经过所有层提取特征，并在最后一层进行分类，因此对于一些易于分类的样本存在计算资源浪费的问题。针对这一问题，本文设计了一种基于级联结构的多分类器卷积神经网络。在网络中使用多个分类器，利用低层特征对简单样本进行提前分类，利用深层特征进行复杂样本分类，从而降低了网络的计算量。相比于传统单分类器网络，在识别率基本一致的情况下，基于级联结构的卷积神经网络能够有效地减少26.9%的计算量。实验结果表明，利用级联多分类器结构能够有效地降低网络的总体计

4、算量，从而提升网络的计算效率，进一步促进深度卷积神经网络在更多领域的应用。关键词：卷积神经网络，确定性丢弃连接，过拟合，级联多分类器IABSTRACTAsawidelyuseddeeplearningalgorithm,convolutionalneuralnetworkhasmadesignificantachievementsinmanyfieldssuchasimagerecognition,speechprocessing,biomedicine,andsoon.Withtherapiddevelop

5、mentofcomputertechnology,theacquisitionofbigdataandhigh-performancecomputingpromotethedevelopmentofconvolutionalneuralnetworks.However,therearestillsomeshortcomingswhichneedtobefurtherstudiedandovercome.Comparedwithconventionalneuralnetworks,deepconvolution

6、alneuralnetworkscanlearnmoreabundantandmorediscriminativefeatures.However,becauseoflargeamountoflayersandparameters,deepconvolutionalneuralnetworksarepronetooverfit.Inordertosolvethisproblem,thisthesispresentsadeepconvolutionalneuralnetworkalgorithmbasedond

7、eterministicdrop-connection.Duringthetrainingprocess,thealgorithmdeterministicallyselectstheweightswhichhavesmallabsolutevaluesandsetssuchweights(i.e.,small-absolute-valueweights)tozero,whichincreasesthesparsityofthenetworkandavoidsoverfittingtothetrainingd

8、ata.Thustheproposedmethodcansuppresstheoverfittingofthedeepconvolutionalneuralnetworks.Intheexperimentsofimageclassification,thedeterministicDropConnectalgorithmproposedinthisthesiscaneffectivelyimprov