卷积神经网络CNN.doc

《卷积神经网络CNN.doc》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、1、动机   卷积神经网络（CNN）是多层感知机（MLP）的一个变种模型，它是从生物学概念中演化而来的。从Hubel和Wiesel早期对猫的视觉皮层的研究工作，我们知道在视觉皮层存在一种细胞的复杂分布，，这些细胞对于外界的输入局部是很敏感的，它们被称为“感受野”（细胞），它们以某种方法来覆盖整个视觉域。这些细胞就像一些滤波器一样，它们对输入的图像是局部敏感的，因此能够更好地挖掘出自然图像中的目标的空间关系信息。   此外，视觉皮层存在两类相关的细胞，S细胞（Simple Cell）和C（Complex Cell）细胞。S细胞在自身的

2、感受野内最大限度地对图像中类似边缘模式的刺激做出响应，而C细胞具有更大的感受野，它可以对图像中产生刺激的模式的空间位置进行精准地定位。   视觉皮层作为目前已知的最为强大的视觉系统，广受关注。学术领域出现了很多基于它的神经启发式模型。比如：NeoCognitron [Fukushima], HMAX [Serre07] 以及本教程要讨论的重点 LeNet-5 [LeCun98]。 2、稀疏连接   CNNs通过加强神经网络中相邻层之间节点的局部连接模式（Local Connectivity Pattern）来挖掘自然图像（中的兴趣目

3、标）的空间局部关联信息。第m层隐层的节点与第m-1层的节点的局部子集，并具有空间连续视觉感受野的节点（就是m-1层节点中的一部分，这部分节点在m-1层都是相邻的）相连。可以用下面的图来表示这种连接。   假设，m-1层为视网膜输入层（接受自然图像）。根据上图的描述，在m-1层上面的m层的神经元节点都具有宽度为3的感受野，m层每一个节点连接下面的视网膜层的3个相邻的节点。m+1层的节点与它下面一层的节点有着相似的连接属性，所以m+1层的节点仍与m层中3个相邻的节点相连，但是对于输入层（视网膜层）连接数就变多了，在本图中是5。这种结构把

4、训练好的滤波器（corresponding to the input producing the strongest response）构建成了一种空间局部模式（因为每个上层节点都只对感受野中的，连接的局部的下层节点有响应）。根据上面图，多层堆积形成了滤波器（不再是线性的了），它也变得更具有全局性了（如包含了一大片的像素空间）。比如，在上图中，第m+1层能够对宽度为5的非线性特征进行编码（就像素空间而言）。 3、权值共享   在CNNs中，每一个稀疏滤波器hi在整个感受野中是重复叠加的，这些重复的节点形式了一种特征图（feature

5、 map）,这个特种图可以共享相同的参数，比如相同的权值矩阵和偏置向量。    在上图中，属于同一个特征图的三个隐层节点，因为需要共享相同颜色的权重, 他们的被限制成相同的。在这里， 梯度下降算法仍然可以用来训练这些共享的参数，只需要在原算法的基础上稍作改动即可。共享权重的梯度可以对共享参数的梯度进行简单的求和得到。   为什么对权值共享如此感兴趣呢？无论重复单元在感受野的什么位置，他们都可以检测到特征。此外，权值共享提供了一种高效的方式来实现这个，因为这种方式大大减少了需要学习（训练）的参数数目。如果控制好模型的容量，CNN在解决

6、计算机视觉问题上会有更好的泛化能力。 4、详细说明和标注说明   从概念上来说，特征图是通过对输入图像在一个线性滤波器上做卷积，增加一个偏置项，在此结果上再作用一个非线性函数得到的。如果我们把某一层的第k个特征图记为hk，它的滤波器由权值Wk和偏置bk所决定，所以特征图的由下面公式定义（非线性函数取tanh）： 卷积说明： 为了更好地表示数据，隐层由多个特征图构成，{hk,k=1,2,3 ...K}.权值W由4个参数决定（目标特征图的索引、源特征图的索引、源垂直位置的索引、源水平位置的索引）（可以说W是一个4维的张量），偏置b为一个

7、向量,向量中的每一个元素对应一个特征图的索引。我们用下图来表示： 上图是一个包含2层神经元节点的CNN，包括m-1层的4个特征图和m层的2个特征图（h0,h1）。神经元在h0,h1的输出（像素）是由m-1层中在其2*2的感受野中的像素计算得到的。这里注意感受野是如何跨越4个特征图的，权值W0，W1是3维的张量（3D tensor），一个表示输入特征图的索引，另外两个表示像素坐标。总的来说，表示连接第m层第k个特征图的特征图上的每一个像素的权重，与之连接的是m-1层上第l个特征图中坐标为（i,j）的像素。 5、ConvOp   Con

8、vOp是Theano中对卷积层的一个实现。它重复了Scipy中scipy.signal.convolve2d的函数功能，总的来讲,ConvOp包含了两个输入（参数）：   （1）对应输入图像的mini-batch的4D张量。每个张量的