深度学习的实现与发展

《深度学习的实现与发展》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、深度学习的实现与发展　　摘要感知器相关概念是FrankRosenblatt提出的人工神经网络的基本理论框架。在感知器的理?前提下，结合反向传播等算法，机器学习达到了有监督的浅层学习水平。过去的三十年里，得益于计算机性能的提高和GeoffreyHinton，YannLeCun等研究者的贡献，深度神经网络所涉及的几种学习思想和技术如卷积神经网络、受限玻尔兹曼机、自动编码器等大幅度提高了机器的学习效率。如今，深度学习的研究成果已经成功应用在语言识别、目标识别、神经语言程序学、人工智能等领域，具有巨大的发展潜力和社会价值。深度学习有向无监督的学习和复杂数据模型分析等方面发展的趋势。

2、　　【关键词】深度学习机器学习卷积神经网络反向传播算法玻尔兹曼机　　1前言　　深度学习（DeepLearning）[1]是建立在计算机神经网络理论和机器学习理论上的系统科学，它使用建立在复杂的机器结构上的多处理层，结合非线性转换方法算法，对高层复杂数据模型进行抽象。　　如今深度学习的研究成果已成功应用于语音识别、模式识别、目标识别、自然语言编程、人机对弈、人工智能[2]、智慧城市等领域。1997年IBM公司研发的人机对弈系统“深蓝”（DeepBlue）击败国际象棋世界冠军卡斯帕罗夫（GarryKasparov）[3]，从此深度学习和人工智能开始进入人们的视野。2011年，该

3、公司的“华生”（Watson）超级电脑在综艺节目“危险边缘”（Jeopardy）中战胜最高奖金得主和连胜纪录保持者，再一次引发社会对机器智能的关注。2016年，在被认为是计算机无法胜任的中国围棋的棋牌游戏中，Google“DeepMind”公司研发的“AlphaGo”成功击败世界著名围棋选手李世石，在领域内引起了轩然大波。可见深度学习科学离人类社会并不遥远。　　2深度学习的基础和实现　　在深度学习科学诞生和发展的60年历程中，不断有更加先进的学习模式和算法被使用。后文的业界调研综述中所介绍的3种学习方法和神经网络如今已经被广泛使用或演化，这些研究成果都有着划时代的意义，对深

4、度学习发展产生了深远的影响。　　2.1深度学习的思想基础-误差逆传播算法（BP算法）　　BP神经网络（如图1）是1986年Rumelhart和McClelland[4]等人提出的，是一种按误差逆传播算法训练的多层前馈神经网络，它存储大量映射模式关系，无需揭示其映射方程。BP算法的核心思想是采用最速下降法（梯度下降法），通过反向传播调试网络的权值和阈值，使得其误差平方和最小。　　通过数学推导，得出误差逆传播算法的主要特点是：连接权重与学习模式误差成比例变化。　　BP网络所提供的BP算法，有着一定的非线性映射能力、多层前馈网的泛化能力和样本容错能力。但是由于其学习速率是固定的，

5、网络的收敛速度很慢，对于复杂问题难以高效解决。其次，BP算法可以使权值收敛到某个值，但是不能保证其为误差平面的最小值，因为梯度下降方法所求的是局部最小值。同时，隐含层和单元选择没有固定的要求，因此会产生一定的冗余。　　2.2图像处理领域的里程碑-卷积神经网络　　20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现网络结构可以降低反馈神经网络的复杂性，进而提出了卷积神经网络的概念。由于其避免了对图像的前期预处理，可以直接输入原始图像，CNN已经成为神经网络的标志性代表之一。　　CNN的基本结构[5]有多种解释，本文的介绍包括两层：其一

6、为特征提取层，神经元的输入层与前一层的局部连接域相连从而提取特征，提取完毕之后每个特征也会相互确立稳定的关系。其二是特征映射层，计算层由特征映射层组成，每个特征映射是一个平面，平面上所有神经元共享权值。共享权值的思想也是CNN的独特之处。这种双层特征提取结构有效提高了特征的分辨率。　　CNN的首个实现是日本科学家K.Fukushima于1980年提出的“新识别机”，之后Alexander和Taylor提出的“改进认知机”避免了耗时的误差反向传播，进一步提升了CNN的实用价值。　　2.3深度神经网络的实现基础-玻尔兹曼机和受限玻尔兹曼机　　如图2，玻尔兹曼机[6]是Hinto

7、n和Sejnowski提出的随机递归神经网络，也可以看做是随机的Hopfield网络，因样本分布遵循玻尔兹曼分布而命名为BM。　　如图3，RBM是一个双向概率图模型，只有可见层节点与隐层节点之间有连接权，可见层节点与可见层节点与隐层节点之间没有连接权。　　可见RBM的结构比BM的网络拓扑结构更简单，因为各层内部神经元之间没有连接，很大程度上提高了网络训练与学习的效率。RBM结构相比BM显得简单，因此在构造深度置信网络（DBN）时都是先构造出RBM，再将某些RBM堆栈起来得到DBN。　　3发展趋势和挑战　　3.1数据