神经网络原理与应用课程深度学习调研报告魏嫒嫒-2016261392

《神经网络原理与应用课程深度学习调研报告魏嫒嫒-2016261392》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、NORTHWESTERNPOLYTECHNICALUNIVERSITY研宄生课程报告（2016秋）总分时间课程名称神经网络原理与应用课程代码88509级另iJ硕士生学生姓名魏嫒嫒学号2016261392学生邮箱1210270950@qq.com学生电话13572949531教师姓名ProfMingyiHE学院/学科电子信息学院上交时间2017.01.10To:1740695800@qq.com神经网络原理与应用课程深度学习调研报告1摘要深度学习是机器学习研究中的一个新领域，在于建立、模拟人脑进行分析学习的神经络，它模

2、仿人脑的机制来解释数据。近年来，深度学习在各个研究领域上也取得了丰硕的研究成果。本文简要论述了深度学习的背景、进展、模型、原理、算法以及各领域的应用，最后说明了深度学习的问题以及发展趋势。2背景与意义2006年，Hinton提出了深度置信网络(DBN)，一种深层网络模型。使用一种无监督训练方法来解决问题并取得良好结果。DBN(DeepBeliefNetworks)的训练方法降低了学习隐藏层参数的难度。并且该算法的训练时间和网络的大小和深度近乎线性关系。区別于传统的浅层学＞J,深度学更加强调模型结构的深度，明确特征学:

3、^的重要性，通过逐层特征变换，将样本元空间特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。相较浅层模型，深度模型具有巨大的潜力。在有海量数据的情况下，很容易通过增人模型来达到更高的正确率。深度模型可以进行无监督的特征提取，直接处理未标注数据，学〉J结构化特征，因此深度学也叫做UnsupervisedFeatureLearningo随着GPU、FPGA等器件被用于高性能计算、祌经网络硬件的出现和分布式深度学习系统的出现，深度学习的

4、训练时间被大幅缩短，使得人们可以通过单纯的增加使用器件的数量来提升学习的速度。深层网络模型的出现，使得世界上无数难题得以解决，深度学习己成为人工智能领域最热门的研究方向。3国内外进展国外进展：2010年，美国国防部DARPA计划酋次资助深度学习项目。2011年，微软研宄院和谷歌的语言识别研宄人员先后采用DNN技术降低语咅识别错误率20%-30%,是该领域10年來最大突破2012年，Hinton将ImageNet图片分类问题的Top5错误率由26%降低至15%。同年AndrewNg与JeffDean搭建GoogleBr

5、ain项目，用包含16000个CPU核的并行结算平台训练超过10亿个祌经元的深度网络，在语音识别和图像识别领域取得突破性进展。2013年，Hinton创立的DNNResearch公司被Google收购，YannLeCun加盟Facebook的人工智能实验室。2014年，Google将语言识别的精准度从2012年的84%提升到如今的98%,移动端Android系统的语言识别正确率提高丫25%。人脸识别方面，Google的人脸识别系统FaceNet在LFW上达到99.63%的准确率。2015年，Microsoft采用深度

6、神经网络的残差学习方法将Imagenet的分类错误率降低至3.57%,已低于同类试验中人眼识别的错误率5.1%,其采用的神经网络已达到152层。2016年，DeepMind使用了1920个CPU集群和280个GPU的深度学习围棋软件AlphaGo战胜人类围祺冠军李世石。国内进展：2012年，华为在香港成立“诺亚方舟实验室”从事自然语言处理、数据挖掘与机器学习、媒体社交、人际交互等方面的研究。2013年，百度成立“深度学习研宄院”（IDL）,将深度学习应用于语言识别和图像识别、检索，2014年，AndrewNg加盟否度

7、。2013年，腾讯着手建立深度学习平台Mariana，Mariana面向识别、广告推荐等众多应用领域，提供默认算法的并行实现。2015年，阿里发布包含深度学习开放模块的DTPAI人工智能平台。深度学习的研究己经渗透到生活的各个领域，己成为人工智能技术的主要发展方向。人工智能最终的目的是使机器具备与人相当的归纳能力，学习能力，分析能力和逻辑思考能力，虽然当前的技术离这一目标还很遥远，但是深度学习无疑提供了一种可能的途径，使得机器在单一领域的能力超越人类。4基本模型与原理深度学习采用的模型力深层神经网络（DeepNeur

8、alNetworks,DNN）模型，即包含多个隐藏层（HiddenLayer,也称隐含层）的神经网络（NeuralNetworks,NN）。深度学习利用模型屮的隐藏层，通过特征组合的方式，逐层将原始输入转化为浅层特征，屮层特征，高层特征直至最终的任务目标。（1）卷积神经网络模型在无监督预训练出现之前，训练深度祌经网络通常非常困难，而其中一个特例