卷积神经网络总结

《卷积神经网络总结》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、1卷积神经网络卷积神经网络是深度学习的一种，已成为当前图像理解领域的研宂热点它的权伉共亨网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数姒。这个优点在网络的输入是多维图像时表现得更为明显，图像可以直接作为网络的输入，避免了传统识别算法屮复杂的特征提取和数据重建过程.卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放以及芄他形式的变形具有一定不变性.在典型的CNN屮，开始儿层通常是卷积层和下采样层的交替，在靠近输出层的最后儿层网络通常是全连接网络。卷积神经网络的训练过程主要是学习卷积层的卷积

2、核参数和层间连接权重等网络参数，预测过程主要是基丁•输入图像和网络参数计算类别标签。卷积神经网络的关键是：网络结构(含卷积层、下采样层、全连接层等)和反14传播算法等。在木节屮，我们先介绍典型CNN的网络结构和反14传播算法，然后概述常用的其他CNN网络结构和方法。神经网络参数的屮文名称主要参考文献1181卷积神经网络的结构和反昀传播算法主要参考文献117]O1.1网络结构1.1.1卷积层在卷积层，上一层的特征图(Featuremap)被一个可学习的卷积核进行卷积，然后通过一个激活函数(Activationfunction)，就可以得到输出特

3、征图.每个输出特征图可以组合卷积多个特征图的值[171:X;=f(ulj)ui~x1*+ieM?其中，4称为卷积层肋第j个通道的净激活(Netactivation)，它通过对前一层输出特征图进行卷积求和与偏罝后得到的，＜是卷积层1的第j个通道的输出。称为激活函数，通常可使用sigmoid和tanh等函数。表示用于计算＜的输入特征图子集，＜是卷积核矩阵，/＜是对卷积后特征阁的偏置。对于一个输出特征图＜，每个输入特征图对应的卷积核＜可能不同，“*”是卷积符号。1.1.2下采样层下采样层将每个输入特征阁通过下而的公式下采样输出特征阁

4、17

5、:u

6、lj=fi'jdown^x1^)+blj其中，＜称为下采样层1的第j通道的净激活，它由前一层输出特征阁xj"1进行下采样加权、偏置后得到，夕是下采样层的权重系数，y是下采样层的偏置项.符号6fovv

7、层1的净激活，它由前一层输出特征图行加权和偏置后得到的。u/是全连接咧络的权重系数，//是全连接层1的偏置项。1.2反向传播算法祌经网络有两类基本运算模式：前向传播和学习.前向传播是指输入信号通过前一节中一个或多个网络层之间传递信号，然后在输出层得到输出的过程.反14传播算法是神经网络有监督学习屮的一种常用方法，其目标是根据训练样本和期望输出来估计网络参数.对于卷积祌经网络而言，主要优化卷积核参数k、下采样层网络权重_、全连接层网络权重w和各层的偏置参数b等.反向传播算法的本质在于允许我们对每个网络层计算有效误差，并由此推导出一个网络参数的学

8、习规则，使得实际网络输出更加接近目标值U81。我们以平方误差损失函数的多分类问题为例介绍反向传播算法的思路.考虑一个多分类问题的训练总误差，定义为输出端的期望输出值和实际输出值的差的平方117]:1NE(w^,kyb)=-Y\tn-yn[n=l其中，~是第n个样本的类别标签真值，&是第n个样本通过前向传播网络预测输出的类别标签.对于多分类问题，输出类别标签常用一维向量表示，即输入样本对应的类别标签维度为正数，输出类别标签的其他维为0或负数，这取决于选择的激活函数类型，当激活函数选为sigmoid，输出标签为0,当激活蚋数为tanh，输出标

9、签为-1。反向传播算法主要基于梯度下降方法，网络参数首先被初始化为随机伉，然后通过梯度下降法向训练误差减小的方向凋整.接下来，我们以多个“卷积层-采样层”连接多个全连接层的卷积神经网络为例介绍反向传播算法。首先介绍网络第1层的灵敏度(Sensitivity/17’181:81dE其屮，次描述了总误差E怎样随着净激活V而变化.反向传播算法实际上通过所有网络层的灵敏度建立总误差对所有网络参数的偏导数，从而得到使得训练误差减小的方14。1.2.1卷积层为计算卷积层1的灵敏度，需要用下一层下采样层1+1的灵敏度表示卷积层1的灵敏度，然后计算总误差E对

10、卷积层参数(卷积核参数k、偏置参数b)的偏导数.由于下采样层的灵敏度尺寸小于卷积层的灵敏度尺寸，因此需要将下采样层1+1的灵敏度上采样到卷积层I的灵敏度大小，然后将