资源描述：
《神经网络极速学习方法研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第33卷第2期计算机学报Vol.33No.22010年2月CHINESEJOURNALOFCOMPUTERSFeb.2010神经网络极速学习方法研究1)1)2)1)邓万宇郑庆华陈琳许学斌1)(西安交通大学电信学院计算机系智能网络与网络安全教育部重点实验室西安710049)2)(西安邮电学院计算机科学与技术系西安710061)摘要单隐藏层前馈神经网络(SinglehiddenLayerFeedforwardNeuralNetwork,SLFN)已经在模式识别、自动控制及数据挖掘等领域取得
2、了广泛的应用,但传统学习方法的速度远远不能满足实际的需要,成为制约其发展的主要瓶颈.产生这种情况的两个主要原因是:(1)传统的误差反向传播方法(BackPropagation,BP)主要基于梯度下降的思想,需要多次迭代;(2)网络的所有参数都需要在训练过程中迭代确定.因此算法的计算量和搜索空间很大.针对以上问题,借鉴ELM的一次学习思想并基于结构风险最小化理论提出一种快速学习方法(RELM),避免了多次迭代和局部最小值,具有良好的泛化性、鲁棒性与可控性.实验表明RELM综合性能优于ELM、BP和SVM.关键词极速学习机;正则
3、极速学习机;支持向量机;结构风险;神经网络;最小二乘中图法分类号TP18DOI号:10.3724/SP.J.1016.2010.00279ResearchonExtremeLearningofNeuralNetworks1)1)2)1)DENGWanYuZHENGQingHuaCHENLinXUXueBin1)(MinistryofEducationKeyLaboratoryforIntelligentNetworksandNetworkSecurity,DepartmentofComputerScience
4、andTechnology,Xi!anJiaotongUniversity,Xi!an710049)2)(DepartmentofComputerScienceandTechnology,Xi!anUniversityofPosts&Telecommunications,Xi!an710121)AbstractSLFNs(SinglehiddenLayerFeedforwardNeuralnetworks)havebeenwidelyappliedinmanyfieldsincludingpatternrecognit
5、ion,automaticcontrol,dataminingetc.However,thetraditionallearningmethodscannotmeettheactualneedsduetotwomainreasons.Firstly,thetraditionalmethodismainlybasedongradientdescentanditneedsmultipleiterations.Secondly,allofthenetworkparametersneedtobedeterminedbyiteration
6、.Therefore,thecomputationalcomplexityandsearchingspacewillincreasedramatically.Tosolvetheaboveproblem,motivatedbyELM∀sonetimelearningidea,anovelalgorithmcalledRegularizedExtremeLearningMachine(RELM)basedonstructuralriskminimizationandweightedleastsquareisproposedi
7、nthispaper.Thealgorithmnotonlyavoidsanumberofiterationsandthelocalminimum,butalsohasbettergeneralization,robustnessandcontrollabilitythantheoriginalELM.Additionally,experimentalresultshaveshownthatRELM∀overallperformanceisalsobetterthanBPandSVM.Keywordsextremelear
8、ningmachine;regularizedextremelearningmachine;supportvectormachine;structuralrisk;neuralnetwork;leastsquare收稿日期:20090715;最终修改稿收到日期:2009
