深度学习介绍-ppt课件.ppt

《深度学习介绍-ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、深度学习简介主要内容现状神经网络深度学习介绍常见模型StackedAuto-EncoderConvolutionalNeuralNetworkDeepBeliefNetwork杂项现状2006年7月，机器学习界的著名学者GeofferyHinton和他的学生RuslanSalakhutdinov在《Science》上发表了一篇关于深层神经网络训练算法的文章，引起了深度学习在学术界和工业界的关注；2012年5月到10月，为了回应对于深度学习方法的质疑，也为了测试深度学习算法的真实效果，GeofferyHinton和他的另外一个学生AlexKrizhevsky参加了Image

2、Net大规模视觉识别竞赛，以大幅领先优势取得第一名；2012年6月，机器学习和人工智能的知名学者AndrewNg等人与谷歌经过多年的合作，在语音识别与图像目标识别方面取得了突破性的进展；2012年11月，在二十一世纪计算大会上，微软首席研究官RickRashid展示了一套基于深层神经网络模型的语音识别系统，能实时流畅翻译，切显著地降低了错误率，这在语音识别领域是一个突破；2013年1月，百度创始人兼CEO李彦宏在年会上宣布将成立百度研究院；2013年7月，谷歌收购了深度学习初创公司DNNResearchInc.，公司员工GeofferyHinton和他的两个学生AlexK

3、rizhevsky，IlyaSutskever加入谷歌；现状2013年10月，雅虎收购图像识别公司LookFlow，正式加入深度学习研究队伍；2015到2016年，苹果收购人工智能研究公司VocalIQ，Percepti，Emotient，Turi等，强化Siri和摄像等应用上的优势；2015年11月，谷歌发布人工智能系统TensorFlow并宣布开放源代码；2016年5月，亚马逊发布了一个开源的使用GPU训练和部署深层神经网络开源工具DSSTNE；2016年8月，英特尔开发者大会上，英特尔宣布将于2017年推出专门为人工智能和深度学习而设计的最新一代CPU—IntelX

4、eonPhi处理器，代号KnightsMill，英特尔宣称其运算能力比对手NVIDIA的Kepler系列GPU产品快两倍以上。2016年10月，NVIDIA发布了新版本的通用并行计算架构库：统一计算设备架构（ComputeUnifiedDeviceArchitecture，CUDA）8.0，以及深度学习专用GPU加速库：cuDNN5.0；2016年11月，在2016全球超级计算机大会（SC16）上，AMD宣布推出新版Radeon开放计算平台（RadeonOpenComputePlatform，ROCm），以及用于GPU加速器的免费开源库MIOpen。主要内容现状神经网络深

5、度学习介绍常见模型StackedAuto-EncoderConvolutionalNeuralNetworkDeepBeliefNetwork杂项神经网络在机器学习与认知识别领域中，人工神经网络是一类模拟生物神经网络的模型，基于大量训练数据，用来预测（决策问题）或估计目标函数模型。人工神经网络一般呈现为相互关联的“神经元”之间相互交换信息的系统。在神经元的连接中包含有可以根据训练样本调整的权重，使得神经网络可以自适应输入样本，并且拥有学习能力。作为机器学习方法的一种，神经网络算法可以用来处理一系列传统机器方法无法处理，或者处理难度较大的问题，包括计算机视觉、语音识别等任务

6、。基本结构神经网络的基本单元是神经元。通过对所有输入进行加权求和，之后进行非线性映射得到该神经元的输出值。神经网络按照拓扑结构，大体分为层状与网状两大类。常用激活函数：ReLU函数S型函数双曲正切函数神经元模型神经网络输出：激活函数：神经网络BP网络前馈网络的逐层计算：输入值从输入层神经元通过加权连接逐层前向传播，经过隐含层，最后到达输出层得到输出。在信号的前向传播过程中，网络的权值是固定不变的，每一层神经元的状态只影响下一层神经元的状态。反向传播算法：网络的实际输出与期望输出之间的差值即为误差信号。误差信号由输出端开始逐层反向传播。在误差信号反向传播的过程中，网络的权值

7、根据误差的梯度进行调节，通过权值的不断修正使网络的实际输出更加接近期望输出。前馈网络结构说明代价函数在遇到回归问题时，指定代价函数以使目标变量的真实值和预测值的距离最小；代价函数描述了网络输出与真实值之间的误差；网络模型的训练过程即：通过随机梯度下降的方法最小化代价函数以提高网络精度；可以在代价函数中引入其他约束以满足设定要求。反向传播算法反向传播算法可表示为以下几个步骤：1.进行前馈传导计算，利用前向传导公式，得到直到输出层的激活值。2.对输出层（第  层），计算：3.对于的各层，计算：4.计算最终需要的偏导数值：5.根据残