欢迎来到天天文库
浏览记录
ID:33505694
大小:2.13 MB
页数:55页
时间:2019-02-26
《bp神经网络泛化能力改进研究》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、太原科技大学硕士学位论文BP神经网络泛化能力改进研究姓名:夏玫申请学位级别:硕士专业:计算机软件与理论指导教师:陈立潮20090701BP神经网络泛化能力改进研究中文摘要随着BP神经网络研究的逐渐深入,泛化能力作为它的一个重要评价指标也引起了人们的广泛讨论。泛化能力体现了神经网络识另,]iJll练集合以外的样本集合的能力,它对神经网络能否应用在实际的生产中起着决定性的作用。BP神经网络的泛化能力比较敏感,容易影响到神经网络的稳定度,反映在BP神经网络中表现为容易陷入到局部极值中、训练速度较慢等,这些都制约着BP神经网络发展。人们尝试利用模拟退火、遗传算法等多种方法对BP神经网络的拓扑结构、学
2、习方法等方面进行改进,使得它能够快速、准确的进行拟合和预测,并以此来增强BP神经网络自身的泛化能力。本文主要研究了影响BP神经网络泛化能力的因素,包括样本空间、初始权值、网络结构参数等几个方面,并针对BP神经网络训练速度较慢、网络结构难以确定、易陷入局部极值等问题,提出了三种独立的改进算法:基于PCA的GA-BP神经网络改进算法、自确定结构参数的GA—BP神经网络改进算法和自确定结构参数的PCA.GA.BP神经网络改进算法。其中,基于PCA的GA.BP神经网络改进算法是通过主成分分析方法对BP神经网络的样本空间进行合理降维和去噪,并利用遗传算法逐步迭代出优化的初始权值,减少了网络训练时间,并
3、有效避免了神经网络陷入到局部极值中;自确定结构参数的GA.BP神经网络改进算法是在一种自确定BP神经网络隐层及隐层单元数目方法的基础上,结合遗传算法提出的,该算法将传统的三层BP神经网络扩展成为三层/四层BP神经网络,提高了网络的预测准确率;而自确定结构参数的PCA.GA.BP神经网络改进算法在自确定结构参数的GA.BP神经网络改进算法中加入主成分分析方法,从样本空间、初始权值和网络结构参数三个方面对BP神经网络进行改进,使得BP神经网络的训练速度得到加强。本文通过大量数据验证了三种改进算法改进BP神经网络泛化能力的有效性,并针对不同的样本数据对三种改进算法的预测准确率进行比较,总结了每种算
4、法适应的条件和各自的特点。关键词:BP神经网络;泛化能力;主成分分析;遗传算法;网络结构参数ResearchonImprovingGeneralizationofBPNeuralNetworkGraduateName:MeiXiaMajor:ComputerSoftwareandTheoryDirectedby:LichaoChenABSTRACTWiththedeeplyresearchonBPneuralnetwork,generalizationisarousedwidelydebatingofpeopleasanimportantevaluationindex.Generalizat
5、ionistheabilitythatneuralnetworkcanidentifythesetsexcepttrainingset,anditdecideswhethertheneuralnetworkcanbeusedornotintheproduction.ThegeneralizationofBPneuralnetworkisverysensitive,SOit.affectsneuralnetwork’Sstability.Inotherwords,itiseasytogetintoalocalvalueandslowtrainingspeed,SOthedevelopmento
6、ftheBPneuralnetworkisrestricted.一●●‘●·-。‘Peopleuseslmulatedannealing,genetmalgorithmandSOontoimprovetopologicalstructureandlearningmethod.Itcanfitandforecasttheneuralnetworkfastandaccurately.BythesewaystheBPneuralnetwork’Sgeneralizationcanbeimproved.ThefactorsaboutthegeneralizationoftheBPneuralnetw
7、orkarestudiedinthispaper,forexamplesamplespace;initialweights,theparametersofnetworkstructure,andSOon.BecauseBPneuralnetworktrainingspeedisslow,networkstructureishardtodetermine,andeasytogetintoalocalvaluea
此文档下载收益归作者所有