资源描述：
《基于概念器的深度神经网络模型-中国科学信息科学-《中国科学》杂志社》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、中国科学:信息科学2018年第48卷第5期:511–520SCIENTIASINICAInformationis人工智能优青专刊.论文基于概念器的深度神经网络模型*钱光武,张蕾,王炎四川大学计算机学院机器智能实验室,成都610065*通信作者.E-mail:leizhang@scu.edu.cn收稿日期:2018–01–24;接受日期:2018–02–25;网络出版日期:2018–05–11国家重点研发计划(批准号:2016YFC0801800)、国家自然科学基金(批准号:61772353,61332002)和霍英东基金高等院校青年教师基金基础性研
2、究课题(批准号:151068)资助项目摘要近年来,深度神经网络,亦被称为深度学习,在机器学习方法主导的各个领域都取得了重大的突破.虽然经过训练的深度神经网络具有卓越的性能,但是整个训练过程却十分耗时,即使借助高性能计算设备,也需要数日甚至数周的训练时间.概念器作为回音状态网络的延续和发展,可以理解为描述神经动态活动模式的过滤器,是一个强大的时序数据处理工具.为了解决上述问题,基于对原始概念器模型的改进,本文在深度神经网络的非迭代方法和迁移学习两个方面分别做了一些工作.具体来说,(1)提出了针对非时序数据的概念器分类器,并在此基础上提出了一种非迭代方
3、法前馈卷积概念器神经网络,通过在MNIST变集数据集上的实验测试了前馈卷积概念器神经网络的分类性能,不仅达到了同类方法的最高水平,而且极大地降低了训练时间;(2)提出了一种基于概念器的快速概念器分类器,在数据集Caltech-101和Caltech-256上,测试了快速概念器分类器结合预训练且不再微调的深度神经网络的表现,不仅在性能上超越了同类方法的最高水平,而且训练时间平均减少到原有的1/60.关键词概念器,图像分类,深度神经网络,迁移学习,非迭代方法1引言近十年来,深度神经网络(deepneuralnetwork,DNN)充斥了整个机器学习的领
4、域[1∼6],特别是卷积神经网络(convolutionalneuralnetwork,CNN)在大规模图像和视频识别上取得了巨大的成功[4,7,8],同时也在多媒体处理上取得了长足的进步[9∼11].最为常用的DNN的训练算法是反向传播算法(backpropagation,BP)[12],但是误差反向传播多层的做法与生物学发现相去甚远.此外,在实际部署DNN的实践中还存在着许多障碍,如果要达到世界顶尖水平的性能,对计算架构的规模、计算量和实施者的专业素质都有很高要求.以上提到的两个原因促使人们去寻找不依赖反向传播的深度网络.引用格式:钱光武,张蕾
5、,王炎.基于概念器的深度神经网络模型.中国科学:信息科学,2018,48:511{520,doi:10.1360/N112017-00261QianGW,ZhangL,WangY.Conceptor-baseddeepneuralnetworks(inChinese).SciSinInform,2018,48:511{520,doi:10.1360/N112017-00261⃝c2018《中国科学》杂志社www.scichina.cominfocn.scichina.com钱光武等:基于概念器的深度神经网络模型研究者们提出了许多方法尝试解决这个问题
6、,例如非迭代方法[13∼15]和迁移学习[8,16∼18],两者的核心思路都是简化训练过程和提升训练速度.非迭代方法通过移除训练中的迭代步骤加速训练过程,通常使用具有解析解的算法来替代原有的迭代算法.这些方法一定程度上解决了问题,但是却不可避免带来了精度的下降,导致人们往往要在速度和精度上做一个权衡选择.迁移学习则是利用已经在其他数据集上训练完成的深度神经网络模型,稍作修改来处理新数据集.在实际应用中,从零开始训练一个随机化初始化的卷积神经网络并不常见,因为训练数据的不充分难以发挥网络的最大性能.反之,更为常见的做法是在一个类似ImageNet数据
7、集的大数据集上训练卷积神经网络,并以此为基础进行后续工作,如将此时的网络作为一个初始化状态,或者直接将此网络当作一个特征提取工具.实验发现在ImageNet[19]数据集上学习到的深度图像表达可以泛化到其他数据集[18],因此引起了大量研究者的兴趣和进一步工作[8,20∼22].本文为了探索不依赖反向传播算法的DNN模型,从非迭代方法和迁移学习两方面介绍我们的研究进展.在非迭代方法方面,基于概念器(conceptor)模型,提出了针对非时序数据的概念器分类器,且结合此分类器提出了一种非迭代方法
8、
9、前馈卷积概念器神经网络(feedforwardcon
10、volu-tionalconceptorneuralnetwork,FCCNN).这种神经网络在多个方面受到了回声状态网络
