卷积神经网络.pdf

《卷积神经网络.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、卷积神经网络ConvolutionalNeuralNetworkSequenceModelingIwanttoplaygamewiththatlittlegirl.NNforsentencemodeling•ConvolutionalNeuralNetwork(CNN)•RecurrentNeuralNetwork(RNN)•RecursiveNeuralNetwork(RNN)FeedForwardNeuralNetworks全连接•??表示第?层神经元的个数•L表示神经网络的层数•参数个数：????=1•

2、权重矩阵参数非常多，训练效率低下•数据不足时，欠学习CNN•ConvolutionalNeuralNetwork是一种前馈神经网络。卷积神经网络是受生物学上感受野(ReceptiveField)的机制而提出的。一个神经元的感受野是指特定区域，只有这个区域内的刺激才能够激活该神经元。•局部链接•权值共享•采样•具有平移、缩放和扭曲不变性全连接vs.卷积全连接CNN1000*1000*1000000=1012810*10*100=1041000*1000*100=10一维卷积•信号x，信号长度n•滤波器f，滤波器

3、长度m1当??=时，相当于移动平均?Example输入序列卷积核(filter)输出卷积类型•窄卷积•信号两端不补0窄卷积•输出信号长度为n-m+1•宽卷积•信号两端补0•输出信号长度为n+m-1•等长卷积•信号两端补0•输出信号长度为n等长卷积滤波器步长•Stride=2滤波器步长•Stride=2滤波器步长•Stride=2二维卷积•信号x，信号长度M*N•滤波器f，滤波器长度m*n•在图像中，卷积意味着区域内像素的加权平均1当???=时，相当于平均??卷积类型•窄卷积•信号四周不补0•输出信号长度为M-

4、m+1*N-n+1•宽卷积•信号四周补0•输出信号长度为M+m-1*N+n-1•等长卷积•信号四周补0•输出信号长度为M*NExamplesExamples两维卷积实例卷积层全连接前馈神经网络?(?)(?)??−1(?)?=?(??+?)?????w1ZXw2w3??=????+????+1=?(??)?卷积层卷积神经网络第l层的每一个神经元都只和第l−1层的一个局部窗口内的神经元相连，构成一个局部连接网络。?(?)??−1(?)?=?(??+?)???−?+????−1=?(?∙??−?+?+??)其中，?

5、(?)∈ℝ?为?维的滤波器，(?)??−1(?)?=?(?⊗?+?)?−?+?权值共享。这样，在卷积层里，我们只需要m+1个参数。另外，第l+1层的神经元个数不是任意选择的，而是满足n(l+1)=n(l)−m+1二维卷积层在图像处理中，图像是以二维矩阵的形式输入到神经网络中，因此我们需要二维卷积。假设??∈ℝ(??×ℎ?)和?(?−1)∈ℝ(??−1×ℎ?−1)分别是第?层和第?−1层的神经元活性。??的每一个元素为：uvllll1XfstW,,,ijXsiutjvb

6、ij11其中，?(?)∈ℝ?×?为两维的滤波器，?(?)为偏置矩阵。llll1XfWXb第?−1层的神经元个数为??×ℎ?，并且??=??−1−?+1,ℎ?=ℎ?−1−?+1两个filters特征映射FeatureMap为了增强卷积层的表示能力，我们可以使用K个不同的滤波器来得到K组输出。每一组输出都共享一个滤波器。如果我们把滤波器看成一个特征提取器，每一组输出都可以看成是输入图像经过一个特征抽取后得到的特征。因此，在卷积神经网络中每一组输出也叫作一组特征映射（Featu

7、reMap）。特征映射不失一般性，我们假设第?−1层的特征映射组数为?，每组特征映射的大小为?=?−1?−1??−1×ℎ?−1。第?−1层的总神经元数：??−1×??−1。第?层的特征映射组数为??。如果假设第?层的每一组特征映射?(?,?)的输入为第?−1层的所有组特征映射。第?层的第k组特征映射?(?,?)为：nl-1lk,lkp,,l1,plk,XfWXbp1其中，?(?,?,?)表示第?−1层的第?组特征向量到第?层的第?组特征映射所需的滤波器。两维卷积层的

8、映射关系?(?,1)偏置b输入输出⋮⋮??(?,?)特征映射滤波器特征映射(,,)???1?(?,??−1)滤波器?(?,?,??−1)两维卷积层示例nl-1lk,lkp,,l1,plk,XfWXbp1连接表第?层的每一组特征映射都依赖于第?层的所有特征映射，相当于不同层的特征映射之间是全连接的关系。实际上，这种全连接关系不是必须的。我们可以让第?层的每