卷积神经网络CNN.ppt

《卷积神经网络CNN.ppt》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、ConvolutionalNeuralNetworks卷积神经网络主要内容卷积神经网络—诞生背景与历程卷积神经网络应用—LeNet-5手写数字识别深度学习—Hinton做了些什么深度学习在数字图像识别上的运用—Hinton如何在2012年ImageNet引起轰动卷积神经网络提出的背景浅层神经网络大约二三十年前，神经网络曾经是机器学习领域特别热门的一个方向，这种基于统计的机器学习方法比起过去基于人工规则的专家系统，在很多方面显示出优越性。卷积神经网络提出的背景但是后来，因为理论分析的难度，加上训练方法需要很多经验和

2、技巧，以及巨大的计算量和优化求解难度，神经网络慢慢淡出了科研领域的主流方向。值得指出的是，神经网络（如采用误差反向传播算法：BackPropagation，简称BP算法，通过梯度下降方法在训练过程中修正权重使得网络误差最小）在层次深的情况下性能变得很不理想（传播时容易出现所谓的梯度弥散GradientDiffusion或称之为梯度消失，根源在于非凸目标代价函数导致求解陷入局部最优，且这种情况随着网络层数的增加而更加严重，即随着梯度的逐层不断消散导致其对网络权重调整的作用越来越小），所以只能转而处理浅层结构（小于等

3、于3），从而限制了性能。浅层神经网络的缺陷于是，20世纪90年代，有更多各式各样的浅层模型相继被提出，比如只有一层隐层节点的支撑向量机（SVM，SupportVectorMachine）和Boosting，以及没有隐层节点的最大熵方法（例如LR，LogisticRegression）等，在很多应用领域取代了传统的神经网络。显然，这些浅层结构算法有很多局限性：在有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定的制约。更重要的是，浅层模型有一个特点，就是需要依靠人工来抽取样本的特征

4、。然而，手工地选取特征是一件非常费力的事情，能不能选取好很大程度上靠经验和运气。能不能自动地学习一些特征呢？卷积神经网络早在1989年，YannLeCun(现纽约大学教授)和他的同事们就发表了卷积神经网络（ConvolutionNeuralNetworks，简称CNN）的工作。CNN是一种带有卷积结构的深度神经网络，通常至少有两个非线性可训练的卷积层，两个非线性的固定卷积层（又叫PoolingLayer）和一个全连接层，一共至少5个隐含层。CNN的结构受到著名的Hubel-Wiesel生物视觉模型的启发，尤其是模

5、拟视觉皮层V1和V2层中SimpleCell和ComplexCell的行为。卷积神经网络应用LeNet-5手写数字识别三大特点：1、局部感受野2、权值共享3、次采样（pooling）重点概念卷积核（卷积滤波器）特征图（FeatureMap）C层是一个卷积层：通过卷积运算，可以使原信号特征增强，并且降低噪音S层是一个下采样层：利用图像局部相关性的原理，对图像进行子抽样，可以减少数据处理量同时保留有用信息F6层是经典神经网络：输入向量和权重向量之间的点积，再加上一个偏置。然后将其传递给sigmoid函数产生单元i的一

6、个状态。C1层：输入图片大小：32*32卷积窗大小：5*5卷积窗种类：6输出特征图数量：6输出特征图大小：28*28(32-5+1)神经元数量：4707[(28*28)*6)]连接数：12304[(5*5+1)*6]*(28*28)可训练参数：156[(5*5+1)*6]S2层：输入图片大小：(28*28)*6卷积窗大小：2*2卷积窗种类：6输出下采样图数量：6输出下采样图大小：(14*14)*6神经元数量：1176(14*14)*6连接数：5880(2*2+1)*(14*14)*6可训练参数：12(6*(1+1

7、))卷积和子采样过程：卷积过程包括：用一个可训练的滤波器fx去卷积一个输入的图像（第一阶段是输入的图像，后面的阶段就是卷积特征map了），然后加一个偏置bx，得到卷积层Cx。子采样过程包括：每邻域四个像素求和变为一个像素，然后通过标量Wx+1加权，再增加偏置bx+1，然后通过一个sigmoid激活函数，产生一个大概缩小四倍的特征映射图Sx+1。C3层输入图片大小：(14*14)*6卷积窗大小：5*5卷积窗种类：15输出特征图数量：16输出特征图大小：10*10(14-5+1)神经元数量：1600[(10*10)*

8、16)]连接数：151600(60+16)*(10*10)*25（部分连接）可训练参数：1516[(60+16)*25](C3中的每个特征map是连接到S2中的所有6个或者几个特征map的，表示本层的特征map是上一层提取到的特征map的不同组合（这个做法也并不是唯一的))连接数计算：151600=[(60+16)*25]*(10*10)60=3*6+9*4+6；16是因