论文-一种新的小世界体系联想记忆模型

《论文-一种新的小世界体系联想记忆模型》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、一种新的小世界体系联想记忆模型*摘　要：提出一种新的基于小世界体系的结构自适应联想记忆模型。原始小世界网络捷径生成具有随机性，缺乏面向任务的确定性操作。针对此不足，借鉴复杂动态网络中和谐统一的混合择优模型构建思想，考虑有限代谢能量资源限制条件下网络连接结构最优修剪原则，给出相应的理论推导。在此理论基础上，新模型打破了已有小世界体系联想记忆网络捷径随机生成的定式，可根据学习样本实际需求，有目的地选择捷径生成，构建样本自适应的网络结构。所构造出的新网络模型既具有一定的生物学基础，维持了网络结构的小世界体系，又能在网络资源受限条件下达到最优的联想记忆性能。实验结果证明了该模

2、型用于联想记忆实现时的有效性及合理性。关键词：小世界体系；结构自适应；联想记忆；人工神经网络Novelassociativememorymodelbasedonsmall-worldadaptivestructureAbstract：Anovelassociativememorymodelbasedonsmall-worldadaptivestructureisproposedinthispaper.Aimingatovercomingthedisadvantageofrandomshortcutformationoftheexistingmethods,thisne

3、wmodeltakestheideologyofHarmoniousUnifyingHybridPreferentialModelintoaccount,andinvestigatestheoptimalweightpruningstrategyundertheconstraintoflimitedtotalnumberofsynapses.Basedonabovetheoreticalanalysis,thenewmodelbreaksthetraditionalmeanofrandomrewiringbutinsteadconstructsatask-basedn

4、etworkstructure,whichismuchclosertohumanbrainwhilepossessingsmall-worldarchitectureandcanalsoachievebetterperformancethantheexistingcounterpartsofthesameclass.Therationalityandvalidityoftheproposedmodelisvalidatedbyagreatnumberofexperiments.Keywords：small-worldarchitecture;adaptivestruc

5、ture;associativememory;artificialneuralnetwork1　引　　言人工神经网络（artificialneuralnetwork，ANN）采用大量神经元集体协同工作的方式进行信息处理，单元互连方式对其性能有很大的影响，因此网络拓扑结构设计是当前神经网络研究的重大难点[1-3]。在实际应用中，ANN结构的确定通常带有人为主观性和艺术性，缺乏一个规则指导，且结构一旦由人工决定后，往往无法变更，缺乏在学习过程中重新组合的自组织学习柔性。为了解决这一问题，不少学者开始从事神经网络结构设计的研究，但由于目前尚无系统的理论指导，大多数情况下仍使

6、用试凑法来选择网络结构，结果是计算量大，效率低，而且难以评价所得网络的结构是否为最优。联想记忆（associativememory，AM）模型作为一类特殊的人工神经网络，它所具有的学习算法使其能够模仿人脑处理不完整、甚至非常模糊的信息，并能进行联想记忆，从部分信息中获得全部信息。自Hopfield[4]提出AM模型以来，后续AM研究尽管取得了一定的进展，但多数集中在学习算法上的研究[5-6]。随着实际需求和被处理问题规模的扩大，AM的学习算法研究离实际的设计目标仍有很大差距。迄今为止，全互连结构仍然是大多数神经联想记忆模型采用的连接方式。然而，在网络大规模互连过程中，

7、所造成的复杂性无法控制，同时无论是从体系结构还是学习算法上，就目前的学习规律而言，原有的AM模型更多的是从数学角度出发，而不是神经生物学本身。这种单纯依靠数学的方法可能导致人工AM与生物学AM在结构上偏离更远。既然是对人脑记忆功能的模仿，那么自然地应融入更多的生物特性。AM的性能不仅取决于连接的稀疏性，也依赖于网络的连接方式。神经生物学表明：脑皮层是一个广泛稀疏连接的巨型复杂系统，神经元之间的连接存在着小世界效应，同时大神经元之间的突触连接对应于一定的代谢能量消耗[7-8]。由此促成了一些学者从神经生物学背景出发，研究具有小世界网络拓扑结构的AM模型