深度学习分享综述

《深度学习分享综述》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、目录1深度学习的概念11.1卷积神经网络模型11.2深度信任网络模型31.3堆栈自编码网络模型42深度学习算法52.1深度费希尔映射方法52.2非线性变换方法52.3稀疏编码对称机算法52.4迁移学习算法62.5自然语言解析算法62.6学习率自适应方法63深度学习的实际应用63.1语音识别63.2视频分析73.3人脸识别73.4图像识别和检索74深度学习的问题及发展趋势85总结9参考文献10深度学习综述摘要：深度学习是机器学习研究中的一个新领域，在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。

2、近年来，深度学习在各领域上也取得了丰硕的研究成果。本文简要论述了深度学习的概念、模型、算法以及在各领域的应用，最后说明深度学习的问题及发展趋势。关键字：深度学习，神经网络，机器学习ReviewofDeepLearningAbstract:Deepleaningisanewfieldinmachinelearningresearch.Itisawhichsimulatesthehumanbraintoanalyzeandstudythemechanismofthehumantointerpretthedata.Inr

3、ecentyears,deepleaninghasachievedfruitfulresultsinvariousfields.Thispaperbrieflydiscussestheconcept,model,algorithmandapplicationinvariousfieldsofdeeplearning.Finally,explainstheproblemsanddevelopmenttrendofdeeplearning.Keywords:Deeplearning,neuralnetwork,mach

4、inelearning1深度学习的概念深度学习是机器学习领域一个新的研究方向，近年来在图像识别与检索、语言信息处理、语音识别等多领域中都取得较为成功的发展。深度学习应用的发展基础在于建立模型来模拟人类大脑的神经连接结构,在处理图像、声音和文本这些信号时,通过多个变换阶段分层对数据特征进行描述,进而给出数据的解释。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念最早G.E.Hinto

5、n等于2006年提出。基于深信度网（DBN）提出非监督贪心训练逐层算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。9同机器学习方法一样，深度机器学习方法也有有监督学习和无监督学习之分，不同的学习框架下建立的学习模型不同。例如卷积神经网络就是一种深度的监督学习下的机器学习模型，而就是一种无监督学习下的机器学习模型。典型的深度学习模型有卷积神经网络、深度置信网络和堆栈自编码网络模型

6、等，下面对这些模型进行描述。1.1卷积神经网络模型卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在于网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或是其他形式的变形具有高度不变形。Lecun的卷积神经网络由卷积层和子抽样层两种类型的神经网络

7、层组成。每一层有一个拓扑图结构，即在接收域内，每个神经元与输入图像中某个位置对应的固定二维位置编码信息关联。在每层的各个位置分布着许多不同的神经元，每个神经元有一组输入权值，这些权值与前一层神经网络矩形块中的神经元关联；同一组权值和不同输入矩形块与不同位置的神经元关联。下图是一个用于手写体字符识别的卷积神经网络，由一个输入层、四个隐层和一个输出层组成。由下图可以看出，与完全连接的多层前馈感知器网络相比，卷积神经网络通过使用接收域的局部连接，限制了网络结构。卷积神经网络的另一个特点是权值共享，图中包含大量连接权值，但

8、是由于同一隐层的神经元共享同一权值集，大大减少了自由参数的数量。图1—1用于手写体字符识别的卷积神经网络9卷积神经网络本质上实现一种输入到输出的映射关系，能够学习大量输入与输出之间的映射关系，不需要任何输入和输出之间的精确数学表达式，只要用已知的模式对卷积神经网络加以训练，就可以使网络具有输入输出之间的映射能力。卷积神经网络执行的是有监督训练，在开始训练前，