资源描述:
《增量式神经网络聚类算法(》由会员上传分享,免费在线阅读,更多相关内容在工程资料-天天文库。
1、增量式神经网络聚类算法*收稿日期:2015-09-28基金项目:国家自然科学基金资助项目(61532001,61472436)作者简介:刘培磊(1984-),男,江苏连云港人,博士研究生,E-mail:plliu@nudt.edu.cn;王挺(通信作者),男,教授,博士,博士生导师,E-mail:tingwang@nudt.edu.cn刘培磊1,2,唐晋韬1,谢松县1,王挺1(1.国防科学技术大学计算机学院,湖南长沙410073;2.国防信息学院信息化建设系信息资源管理教研室,湖北武汉430010)摘要:神经网络模型具有强大的问题建模能力,
2、但是传统的反向传播算法只能进行批量监督学习,并且训练开销很大。针对传统算法的不足,提出了全新的增量式神经网络模型及其聚类算法。该模型基于生物神经学实验证据,引入了新的神经元激励函数和突触调节函数,赋予模型以坚实的统计理论基础。在此基础上,提出了一种自适应的增量式神经网络聚类算法。算法中引入“胜者得全”式竞争等学习机制,在增量聚类过程中成功避免了“遗忘灾难”问题。在经典数据集上的实验结果表明,该聚类算法与K-means等传统聚类算法效果相当,特别是在增量学习任务的时空开销方面具有较大优势。关键词:神经网络;增量学习;聚类算法;时间开销中图分类
3、号:TP393文献标志码:A 文章编号:IncrementalclusteringalgorithmofneuralnetworkLIUPeilei1,2,TANGJintao1,XIESongxian1,WANGTing1(1.CollegeofComputer,NationalUniversityofDefenseTechnology,Changsha410073,China2.TeachingandResearchSectionofInformationResourceManagement,DepartmentofInformat
4、ionConstruction,AcademyofNationalDefenseInformation,Wuhan430010,China)Abstract:Neuralnetworkmodelispowerfulinproblemmodelling.Butthetraditionalbackpropagatingalgorithmcanonlyexecutebatchsupervisedlearning,anditstimeexpenseisveryhigh.Accordingtotheseproblems,weputforwardano
5、velincrementalneuralnetworkmodelandcorrespondingclusteringalgorithm.Thismodelissupportedbybiologicalevidences,anditisbuiltonthefoundationofnovelneuron’sactivationfunctionandsynapseadjustingfunction.Onthisbase,weputforwardanadaptiveincrementalclusteringalgorithm,inwhichmech
6、anismssuchas“winner-take-all”areintroduced.Asaresult,“catastrophicforgetting”problemcanbesuccessfullysolvedintheincrementalclusteringprocess.Experimentsresultsonclassicdatasetsshowthatthisalgorithm’sperformanceiscomparablewithtraditionalclusteringmodelssuchasK-means.Especi
7、ally,itstimeandspaceexpensesonincrementaltasksaremuchlowerthantraditionalclusteringmodels.Keywords:neuralnetwork;incrementallearning;clusteringalgorithm;timeexpense7随着互联网和社交媒体的广泛发展,大量无标注的数据源源不断地产生[1,2]。这些数据的海量性、无标注性、实时性等特点给传统的机器学习模型带来了很大的挑战[3]。传统的神经网络模型具有强大的问题建模能力,理论上含有足够多
8、隐藏层神经元的神经网络可以逼近任意函数。但是主流的学习算法如BP(Backpropergating)算法使用梯度下降的方法进行学习,是批量监督学习算法,即所有的训练数据必须一次性