深度学习研究进展

《深度学习研究进展》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第31卷第7期计算机应用研究Vol.31No.72014年7月ApplicationＲesearchofComputersJul．2014*深度学习研究进展刘建伟，刘媛，罗雄麟(中国石油大学自动化研究所，北京102249)摘要:鉴于深度学习的重要性，综述了深度学习的研究进展。首先概述了深度学习具有的优点，由此说明了引入深度学习的必要性;然后描述了三种典型的深度学习模型，包括卷积神经网络模型、深度信任网络模型和堆栈自编码网络模型，并对近几年深度学习在初始化方法、网络层数和激活函数的选择、模型结构、学习算法和实际应用这四个方面的研究新进展进行了综述;最后探讨了深度

2、学习在理论分析、数据表示与模型、特征提取、训练与优化求解和研究拓展这五个方面中有待进一步研究解决的问题。关键词:深度学习;神经网络;模型;表示;堆栈;预训练中图分类号:TP181文献标志码:A文章编号:1001-3695(2014)07-1921-10doi:10．3969/j．issn．1001-3695．2014．07．001ＲesearchanddevelopmentondeeplearningLIUJian-wei，LIUYuan，LUOXiong-lin(ＲesearchInstituteofAutomation，ChinaUniversityofP

3、etroleum，Beijing102249，China)Abstract:Inviewofthesignificanceofdeeplearning，thispaperreviewedtheresearchanddevelopmentondeeplearning．Firstly，thispapersummarizedtheadvantageofdeeplearning，andillustratedthenecessityofintroducingdeeplearning．Sec-ondly，itdescribedthreekindsoftypicaldeep

4、learningmodels，includedconvolutionalneuralnetworkmodel，deepbeliefnet-workmodel，andstackedauto-encodernetworkmodel．Thirdly，itreviewednewresearchanddevelopmentondeeplearninginrecentyears，includedthechoiceofinitializationmethods，thenumberofnetworklayers，andactivationfunction，modelstruc

5、-ture，learningalgorithms，andpracticalapplication．Finally，itpresentedtheproblemstobesolvedinaspectsoftheoreticalanalysis，representationandmodelofdata，featureextraction，trainingandoptimization，andresearchextension．Keywords:deeplearning;neuralnetwork;model;representation;stacking;pre-t

6、raining深度结构神经网络能够较好地表征。0引言b)在网络结构的计算复杂度方面，当用深度为k的网络结构能够紧凑地表达某一函数时，在采用深度小于k的网络结构许多研究表明，为了能够学习表示高阶抽象概念的复杂函表达该函数时，可能需要增加指数级规模数量的计算因子，大数，解决目标识别、语音感知和语言理解等人工智能相关的任大增加了计算的复杂度。另外，需要利用训练样本对计算因子务，需要引入深度学习(deeplearning)。深度学习架构由多层非线性运算单元组成，每个较低层的输出作为更高层的输入，中的参数值进行调整，当一个网络结构的训练样本数量有限而可以从大量输入数据中

7、学习有效的特征表示，学习到的高阶表计算因子数量增加时，其泛化能力会变得很差。示中包含输入数据的许多结构信息，是一种从数据中提取表示c)在仿生学角度方面，深度学习网络结构是对人类大脑的好方法，能够用于分类、回归和信息检索等特定问题中。皮层的最好模拟。与大脑皮层一样，深度学习对输入数据的处深度学习的概念起源于人工神经网络的研究，有多个隐层理是分层进行的，用每一层神经网络提取原始数据不同水平的的多层感知器是深度学习模型的一个很好的范例。对神经网特征。络而言，深度指的是网络学习得到的函数中非线性运算组合水d)在信息共享方面，深度学习获得的多重水平的提取特平的数量。当前

8、神经网络的学习算法多是针对较低水平的网