资源描述：
《elm网络集成的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、ClassifiedIndex:CODE:10075U.D.C:NO:20101182ADissertationfortheDegreeofM.EngineeringResearchOntheEnsembleofExtremeLearningMachineCandidate:XuHongyuSupervisor:Prof.ZhaiJunhaiProf.WangXizhaoAcademicDegreeAppliedfor:MasterofEngineeringSpecialty:ComputerSoftwareandT
2、heoryUniversity:HebeiUniversityDateofOralExamination:May,2013摘要摘要极限学习器(Extremelearningmachine,ELM)是训练单隐含层前馈神经网络有效学习算法。ELM克服了基于梯度的学习算法的很多不足，如局部极小、不合适的学习速率、学习速度慢等。ELM随机确定输入层权值和隐含层偏置，通过分析的方法确定输出层的权值，具有学习速度快、泛化能力强等特点，但ELM的稳定性较差，且容易产生过拟合，特别是对于规模较大的数据集。针对上述问题，本文提出了（1
3、）基于样本熵的动态ELM集成方法，对于给定的测试样例，该方法利用样本熵动态确定用于集成的ELM基本分类器；（2）基于模糊积分的ELM融合方法，该方法分为三个阶段。首先利用bootstrap技术从原数据集生成若干子集，然后用每一个子集训练一个概率单隐含层前馈神经网络，该网络用ELM进行训练，最后用模糊积分融合得到的多个概率单隐含层前馈神经网络。为了验证本文提出的方法的有效性，在UCI数据集上进行了实验，并对实验结果进行了统计分析，实验结果及对实验结果的统计分析显示本文提出的方法是行之有效的，从某种程度上可以克服上面提到
4、的问题。关键词极限学习器集成学习动态集成分类器融合IAbstractAbstractExtremeLearningMachine(ELM)asanefficientlearningalgorithmhasbeenproposedforSingle-hiddenLayerFeed-forwardNeuralNetworks(SLFNNs),ELMcanovercomemanydrawbacksinthetraditionalgradient-basedlearningalgorithmsuchaslocalminima
5、l,improperlearningrate,andlowlearningspeedetal.ELMrandomlyselectinputweightsandhiddenlayerbias,andanalyticallydeterminetheoutputweights.ELMhavegoodgeneralizationcapabilitywithfastlearningspeed.However,ELMsuffersfrominstabilityandover-fitting,especiallyonlargeda
6、tasets.Inordertodealwiththementionedproblems,thispaperproposed,(1)adynamicensembleextremelearningmachinebasedonsampleentropy,foragiventestsample,theproposedmethodemploythesampleentropytodynamicallyselectthebasicclassifiersusedforensemble.(2)Anapproachoffusionof
7、extremelearningmachine(F-ELM)withfuzzyintegral,theproposedalgorithmconsistsofthreestages.Firstly,thebootstraptechniqueisemployedtogenerateseveralsubsetsoforiginaldataset.Secondly,probabilisticSLFNsaretrainedwithELMalgorithmoneachsubset.Finally,thetrainedprobabi
8、listicSLFNsarefusedwithfuzzyintegral.Inordertoverifytheeffectivenessofourproposedmethod,somenumericalexperimentsareconductedonUCIdatasets,andwestatisticallyanalysedtheexperi
