【9A文】深度学习发展现状

《【9A文】深度学习发展现状》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、【MeiWei_81重点借鉴文档】深度学习发展现状王宇航(北京交通大学计算机与信息技术学院，北京，100044)摘要：深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。近年来，随着深度学习逐渐收到各界的广泛关注，其在各个尖端领域的作用也越来越大，深度学习已经在诸多领域取得客观的成就。本文简要介绍深度学习的基本理论及思想，着重介绍了近年来深度学习在各个领域的应用及其发展．关键字：深度学习；机器学习；人工智能；无监督学习1引言20RR年，斯坦福人工智能实验室主任吴恩达领导Google的科学家们，用16000台电脑模拟

2、了一个模拟人脑神经网络出来，并向这个网络展示了1000万段随机从RouTube上选取的视频，看看它能学会什么．结果在完全没有外界干涉的条件下，它自己识别出了猫脸．我们要注意的是，这种机器学习与我们通常意义上说的“机器识别”有所不同．现有的很多此类识别，需要人工输入一些用于对比的数据，或者一些已经进行初步分类、打好标签的数据，机器通过学习这些数据的共同点，得出规律，然后再去将规律应用于更大规模的数据中．粗略地说，这是一种“有监督的学习”，需要人工输入初始数据，有时候还要对识别结果进行判断，由此促进机器的学习速度．而深度学习是一种“无监督的学习”．它基于一种学术假设：即人类对外界环

3、境的了解过程最终可以归结为一种单一算法，而人脑的神经元可以通过这种算法，分化出识别不同物体的能力．这个识别过程甚至完全不需要外界干预．还是以识别猫脸为例：吴恩达给神经网络输入了一个单词“cat”，这个神经网络中并没有辞典，不了解这个单词的含义．但在观看了一千万段视频，它最终确定，cat就是那种毛茸茸的小动物．这个学习过程，与一个不懂英语的人，在没任何人教他的时候，通过独立观察学会“cat”的过程几乎一致．上述事例是深度学习发展中具有里程碑性质的事件，通过以上事件意在形象的向读者说明深度学习的基本思想．本文意在向读者介绍近年来深度学习在各个领域的应用及其发展．【MeiWei_81

4、重点借鉴文档】【MeiWei_81重点借鉴文档】1深度学习介绍本节简要介绍深度学习及其思想．1.1基本概念深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。1.2核心思想把学习结构看作一个网络，则深度学习的核心思路如下：①无监督学习用于每一层网络；②每次用无监督学习只训练一层，将其训练结果作为其高一层的输入；③用监督学习去调整所有层1.3历史发展

5、图灵在1950年的论文里，提出图灵试验的设想，即，隔墙对话，你将不知道与你谈话的，是人还是电脑。这无疑给计算机，尤其是人工智能，预设了一个很高的期望值。但是半个世纪过去了，人工智能的进展，远远没有达到图灵试验的标准。20RR年前，尝试训练深度架构都失败了：训练一个深度有监督前馈神经网络趋向于产生坏的结果(同时在训练和测试误差中)，然后将其变浅为1(1或者2个隐层)。20RR年，加拿大多伦多大学教授、机器学习领域的泰斗GeoffreRHinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点

6、：1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2）深度神经网络在训练上的难度，可以通过“逐层初始化”来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。当前多数分类、回归等学习方法为浅层结构算法，其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。（多层的好处是可以用较少的参数表示复杂的函数）。【MeiWei_81重点借鉴

7、文档】【MeiWei_81重点借鉴文档】深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。区别于传统的浅层学习，深度学习的不同在于：1）强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；2）明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习