神经网络到卷积神经网络原理与实践

《神经网络到卷积神经网络原理与实践》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、神经网络到卷积神经网络推导与实践摘要卷积神经网络(ConvolutionalNeuralNetwork,CNN)是一种源于人工神经网络(NeuralNetwork,NN)的深度机器学习方法，近年来在图像识别领域取得了巨大的成功。CNN由于采用局部连接和权值共享，保持了网络的深层结构，同时又大大减少了网络参数，使模型具有良好的泛化能力又较容易训练。NN的训练算法是基于梯度下降的错误反向传播（BackPropagate，BP）算法，CNN的训练算法是BP算法的一种变形。本文从梯度下降的数学推导中总结了NN训练过程中的错误

2、信号传播和权重修改策略，用切割小图训练共权神经网络的方式解释了CNN中的卷积过程，并以特殊卷积的方式解释了CNN的子采样过程，最后将NN的错误信号传播和权重修改策略移植到CNN的训练中。我们将推导出的CNN训练方法用C++编码实现，用CNN应用最早最典型的手写数字识别问题验证被编码的推导过程，得到了正确的效果。目录摘要I目录I图目录III第三章神经网络与卷积神经网络13.1神经网络13.1.1单层感知机33.1.2单输出多层感知机73.1.3多输出多层感知机83.2卷积神经网络103.2.1卷积神经网络的常用结构11

3、3.2.2卷积与子采样123.2.3卷积与权值共享133.2.4CNN训练过程中的三次卷积过程143.2.5卷积的作用173.3卷积神经网络实践183.4本章小结19第六章总结与展望20图目录图3.1神经元的结构[24]2图3.2神经元之间的连接[25]2图3.3sigmoid函数3图3.4单层感知机4图3.5单层感知机的错误信号5图3.6单输出多层感知机7图3.7多输出多层感知机9图3.8卷积神经网络结构示例11图3.9卷积过程12图3.11CNN中的卷积过程13图3.12四个4*1的神经网络14图3.13前向卷积

4、过程15图3.14错误传播过程中的卷积16图3.15四个4*1的神经网络的权重更新16图3.16卷积核的权重修改量17图3.17权重更新过程中的卷积17图3.18两个固定卷积核18图3.19数字识别使用的卷积神经网络结构[26]19第三章神经网络与卷积神经网络人工神经网络(NeuralNetwork,NN)有50多年的历史。神经网络的发展也经历过单层感知机，多层感知机，多层感知机变形几个阶段。卷积神经网络(ConvolutionalNeuralNetwork,CNN)是多层感知机的一种变体。神经网络的训练方法是错误反

5、向传播算法（BackPropagate,BP），而错误反向传播算法的数学基础是梯度下降。在本章的前半部分，我给出单层感知机和多层感知机的工作原理，即BP算法。计算机学者从生物视觉的研究中得到启示，一个视觉神经细胞只与其距离较近的邻层神经元相连。鉴于此，CNN的采用了局部感受野。为了简化模型，一个特征平面的神经元共享权值。CNN最早由YannLecun实现并运用到手写数字识别问题中，并取得该领域最高的识别率，至今未被超越。CNN是NN的一种变形，CNN与NN最大的不同在于CNN的卷积和子采样过程，而子采样可以被认为是一

6、种特殊的卷积过程。在本章的后半部分，将以切割小图训练共享权值的NN的方式阐释卷积神经网络中的卷积过程。本文按照BP的思想实现并训练了一个卷积神经网络模型。我使用经典的手写数字识别问题检测CNN训练推导过程的准确性。在实验中，我使用6万张图片训练CNN，用1万张数字图片做测试，训练后的CNN模型在测试集上的准确率高达98.6%。实验说明用切割小图训练NN的方法推导的CNN训练方法是正确的。3.1神经网络神经网络（neuralnetwork，NN）是生物科学和信息科学交叉的产物。生物学家研究人脑神经的工作过程，发现神经元

7、（神经细胞）和神经元之间通过突起(轴突和树突)的相连，神经细胞感受到刺激之后产生兴奋并通过细胞突起将兴奋传导给与之有连接的神经元。神经元的连接大多是相邻层间的连接，神经细胞总体上呈现分层结构，感受器中的神经接收外界刺激，神经中枢的神经元决定人脑的意识。如图3.1为一个神经细胞的结构：图3.1神经元的结构Error!Referencesourcenotfound.Figure3.1structureofaneuronError!Referencesourcenotfound.一个神经元和其它神经元的连接如图3.2所示：

8、图3.2神经元之间的连接Error!Referencesourcenotfound.Figure3.2theconnectionbetweenneuronsError!Referencesourcenotfound.一个神经元通常和若干个神经元相连，连接有强有弱，不同的连接就像电子元件之间阻值不同的带阻导体。一个非输入神经元在兴奋传导过程中受到