2010 神经网络极速学习方法研究

《2010 神经网络极速学习方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据第33卷第2期计算机学报v01．33No．22010年2月CHINESEJoURNAL0FCOMPUTERSFeb．2010神经网络极速学习方法研究邓万宇"郑庆华”陈琳2’许学斌"”(西安交通大学电信学院计算机系智能网络与网络安全教育部重点实验室西安710049)2’(西安邮电学院计算机科学与技术系西安710061)摘要单隐藏层前馈神经网络(Single-hiddenLayerFeedforwardNeuralNetwork，SI。FN)已经在模式识别、自动控制及数据挖掘等领域取得了广泛的应用，但传统学习方法

2、的速度远远不能满足实际的需要，成为制约其发展的主要瓶颈．产生这种情况的两个主要原因是：(1)传统的误差反向传播方法(BackPropagation，BP)主要基于梯度下降的思想，需要多次迭代；(2)网络的所有参数都需要在训练过程中迭代确定．因此算法的计算量和搜索空间很大．针对以上闻题，借鉴ELM的一次学习思想并基于结构风险最小化理论提出一种快速学习方法(RELM)，避免了多次迭代和局部最小值，具有良好的泛化性、鲁棒性与可控性．实验表明RELM综合性能优于ELM、BP和SVM．关键词极速学习机}正则极速学习机；支持向量

3、机；结构风险，神经网络f最小二乘中图法分类号TPl8DOI号：10．3724／SP．J．1016．2010．00279ResearchonExtremeLearningofNeuralNetworksDENGWan—Yu”ZHENGQing—Hual’CHENLin2’XUXue-Binl’"(MinistryofEducationKeyLaboratoryforIntelligentNetworksandNetworkSecurity·DepartmentofComputerScienceandTechnology

4、，XitanJiaotongUniversity，Xi'an710049)鼬(DepartmentofComputerScienceandTechnology。xitanUniversityofPosts&Telecommunications，Xi'an710121)AbstractSLFNs(Single-hiddenLayerFeedforwardNeuralnetworks)havebeenwidelyappliedinmanyfieldsincludingpatternrecognition，automati

5、ccontrol，dataminingetc．However，thetraditionaIlearningmethodscannotmeettheactualneedsduetotwomainreasons．Firstly，thetraditionalmethodismainlybasedongradientdescentanditneedsmultipleiterations．Secondly，aIlofthenetworkparametersneedtobedeterminedbyiteration．Theref

6、ore，thecomputationalcomplexityandsearchingspacewillincreasedramatically．Tosolvetheaboveproblem，motivatedbyELM’Sone—timelearningidea，anovelalgorithmcalledRegularizedExtremeLearningMa—chine(RELM)basedonstructuralriskminimizationandweightedleastsquareisproposedint

7、hispaper．Thealgorithmnotonlyavoidsanumberofiterationsandthelocalminimum，butalsohasbettergeneralization，robustnessandcontrollabilitythantheoriginalELM．Additionally，experi—mentalresultshaveshownthatRELM’overallperformanceiSalsobetterthanBPandSVM．Keywordsextremele

8、arningmachine；regularizedextremelearningmachine；supportvectorma—chine；structuralrisk；neuralnetwork；leastsquare收稿Et期：2009—07-15；最终修改稿收到日期：2009-09—27．本课题得到国家自然科学基金(60825202，60