资源描述：
《卷积神经网络cnn》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、CNN的早期历史卷积神经网络CNNK.Fukushima,“Neocognitron:Aself-organizingneuralnetworkmodelforamechanismofpatternrecognitionunaffectedbyshiftinposition,”BiologicalCybernetics,vol.36,pp.193–202,1980Y.LeCun,B.Boser,J.S.Denker,D.Henderson,R.E.Howard,W.Hubbard,andL.D.Jac
2、kel,“Backpropagationappliedtohandwrittenzipcoderecognition,”NeuralComputation,vol.1,no.4,pp.541–551,1989Y.LeCun,L.Bottou,Y.Bengio,andP.Haffner,“Gradient-basedlearningappliedtodocumentrecognition,”ProceedingsoftheIEEE,vol.86,no.11,pp.2278–2324,19981DL时代的
3、CNN扩展AKrizhevsky,ISutskever,GEHinton.ImageNetclassificationwithdeepconvolutionalneuralnetworks.NIPS2012Y.Jiaetal.Caffe:ConvolutionalArchitectureforFastFeatureEmbedding.ACMMM2014K.Simonyan,A.Zisserman.Verydeepconvolutionalnetworksforlarge-scaleimagerecog
4、nition.arXivpreprintarXiv:1409.1556,2014C.Szegedy,W.Liu,Y.Jia,P.Sermanet,S.Reed,D.Anguelov,D.Erhan,V.Vanhoucke,A.Rabinovich.Goingdeeperwithconvolutions.CVPR2015(&arXiv:1409.4842,2014)2卷积——示例3卷积——形式化积分形式常用表达式离散形式一维情况二维情况K称为kernel4卷积——why?1.sparseinteract
5、ions有限连接，Kernel比输入小连接数少很多，学习难度小，计算复杂度低m个节点与n个节点相连O(mn)限定k(<6、层级感受野（生物启发）越高层的神经元，感受野越大7卷积——why?2.ParameterSharing（参数共享）Tiedweights进一步极大的缩减参数数量3.Equivariantrepresentations等变性配合Pooling可以获得平移不变性对scale和rotation不具有此属性8CNN的基本结构三个步骤卷积突触前激活，net非线性激活DetectorPoolingLayer的两种定义复杂定义简单定义有些层没有参数9Pooling10定义（没有需要学习的参数）replacesthe
7、outputofthenetatacertainlocationwithasummarystatisticofthenearbyoutputs种类maxpooling(weighted)averagepoolingWhyPooling?11获取不变性小的平移不变性：有即可，不管在哪里很强的先验假设ThefunctionthelayerlearnsmustbeinvarianttosmalltranslationsWhyPooling?12获取不变性小的平移不变性：有即可，不管在哪里旋转不变性？9个不同
8、朝向的kernels（模板）0.20.610.10.50.30.020.050.1WhyPooling?13获取不变性小的平移不变性：有即可，不管在哪里旋转不变性？9个不同朝向的kernels（模板）0.50.30.0210.40.30.60.30.1Pooling与下采样结合更好的获取平移不变性更高的计算效率（减少了神经元数）14从全连接到有限连接部分链接权重被强制设置为0通常：非邻接神经元，仅保留相邻的神经元全连接网络的特例，大量连接权重为015Wh
