第5章-深度学习模型.pptx

《第5章-深度学习模型.pptx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、高级大数据人才培养丛书之一，大数据挖掘技术与应用刘鹏主编赵海峰副主编BIGDATA刘鹏张燕总主编深度学习第五章　深度学习主流模型5.15.2卷积神经网络5.3循环神经网络习题全国高校标准教材《xxx》姊妹篇，剖析xxx技术和实战应用绪论of4725.1神经网络技术的历史与发展第五章深度学习模型早期的神经网络是一个浅层的学习模型（包含一个输入层、一个隐层及一个输出层），它有大量的参数，在训练集上有较好的表现，但实际应用时其识别率并没有比其他模型（如支持向量机、Boosting等）体现出明显的优势神经网络在训练时采用误差反向传播算法（BackPropag

2、ation，简称BP算法），使用梯度下降方法在训练过程中修正权重减少网络误差。在层次深的情况下性能变得很不理想，传播时容易出现所谓的梯度弥散GradientDiffusion或称之为梯度消失（VanishingGradientProblem），根源在于非凸目标代价函数导致求解陷入局部最优，且这种情况随着网络层数的增加而更加严重，即随着梯度的逐层不断消散导致其对网络权重调整的作用越来越小。所以只能转而处理浅层结构（通常小于等于3），从而限制了神经网络的大范围应用。of4735.1概述--浅层神经网络5.1神经网络技术的历史与发展第五章深度学习模型200

3、6年Hinton提出深度学习[11]后才被打破，深度神经网络的复兴存在多方面的原因其一，大规模的训练样本可以缓解过拟合问题；其二，网络模型的训练方法也有了显著的进步；其三，计算机硬件的飞速发展（如英伟达显卡的出现）使得训练效率能够以几倍、十几倍的幅度提升。此外，深度神经网络具有强大的特征学习能力，过去几十年中，手工设计特征一直占据着主导地位，特征的好坏直接影响到系统的性能。of4745.1概述--深度学习模型5.1神经网络技术的历史与发展第五章深度学习模型面对一个新的任务，如果采用手工设计的方式，往往需要很长时间，而深度学习能很快提取到具有代表性的特

4、征。另一方面，随着分类任务复杂性的增加，需要用到越来越多的参数及样本，虽然浅层神经网络也能模拟出与深度学习相同的分类函数，但其所需的参数要多出几个数量级，以至于很难实现。of4755.1概述--深度学习模型5.1神经网络技术的历史与发展第五章深度学习模型学术界已经提出了多种深度学习模型，其中影响力较大的有以下几种(1)卷积神经网络：该网络一般包含三种类型的层，分别是卷积层、下采样层及全连接层。通过卷积核与上一层输出进行卷积作为卷积层的输出，这样可以达到权值共享的目的；下采样是在卷积层的基础上，在一个固定区域中采样一个点，使得整个网络具有一定的缩放、平

5、移及形变不变性。(2)循环神经网络：该网络与传统前馈网络的区别在于，隐层的输入不仅包括输入层的数据，还包括前一时刻的隐层数据。这种结构的网络能有效处理序列数据，如自然语言处理。(3)深度置信网络：该网络由若干层受限玻尔兹曼机及一个反向传播网络组成。of4765.1概述--深度学习模型第五章　深度学习主流模型5.15.2卷积神经网络5.3循环神经网络习题全国高校标准教材《xxx》姊妹篇，剖析xxx技术和实战应用绪论of4775.2卷积神经网络第五章深度学习模型卷积神经网络（Convolutionalneuralnetworks,CNN)已在图像理解领域

6、得到了广泛的应用，特别是随着大规模图像数据的产生以及计算机硬件(特别是GPU)的飞速发展,卷积神经网络以及其改进方法在图像理解中取得了突破性的成果，引发了研究的热潮。of4785.2卷积神经网络5.2卷积神经网络第五章深度学习模型卷积神经网络（Convolutionalneuralnetworks,CNN)已在图像理解领域得到了广泛的应用，特别是随着大规模图像数据的产生以及计算机硬件(特别是GPU)的飞速发展,卷积神经网络以及其改进方法在图像理解中取得了突破性的成果，引发了研究的热潮。of4795.2卷积神经网络5.2卷积神经网络第五章深度学习模型o

7、f4710图5.1卷积神经网络整体结构图5.2卷积神经网络第五章深度学习模型of4711图5.2卷积层图5.3图像卷积效果示意图5.2卷积神经网络第五章深度学习模型of4712卷积计算的输出值通常需要通过激励函数，实现非线性变换。Sigmoid函数(SigmoidFunction)，Sigmoid是常用的非线性的激活函数，它的数学形式如下：Sigmoid函数，它能把实数(-∞,+∞)压缩到区间(0,1)之间5.2卷积神经网络第五章深度学习模型of4713ReLU（RectifiedLinearUnits）函数，它的数学表达式如下：1维的情况下，当x<

8、0的时候，输出为0；当x>0时，输出为输入。ReLU激励函数变的越来越受欢迎。ReLU的有效性体现在两个方面