资源描述：
《前馈神经网络泛化性能力的系统分析》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、2000年8月系统工程理论与实践第8期 文章编号:100026788(2000)0820036205前馈神经网络泛化性能力的系统分析12江学军,唐焕文(1.山东经济学院计划统计系,山东济南250014;21大连理工大学管理科学与工程研究所,辽宁大连116024)摘要:通过对多层前馈网络的运行机制的系统分析,指出影响前馈网络泛化能力的根本原因是训练网络用的样本,包括样本质量、样本数量和样本代表性三个方面L针对复杂系统给出了一种提高前馈网络泛化能力的途径,并通过对仿真算例的计算验证了得出的结论L关键词:多层前馈神经网络;泛化
2、能力;系统分析中图分类号:TP18aSystemAnalysisforGeneralizationofMFNN12JIANGXue2jun,TANGHuan2wen(1.ShandongInstituteofEconomic,Ji'nan250014;2.DalianUniversityofTechnology,Dalian116024)Abstract:Bythesystemanalysisfortheoperationmechanismofmultilayerfeedfor2wardneuralnetworks(MF
3、NN),thispaperpointsoutthatthebasicreasonsaffectingthegeneralizationcapabilityofMFNNarequality,quantityandrepresentationabilityofthetrainingsamples.Andwegiveamethodtoraisethegeneralizationcapabilityofthecomplexsystem.Theconclusionhasbeenprovedbyexperimentalresults
4、.Keywords:MFNN;generalizationcapability;systemanalysis1 引言多层前馈神经网络(MultilayerFeedforwardNeuralNetworks,MFNN)是目前神经网络研究与应用中最基本的网络模型之一L多层前馈网络由一个输入层、一个输出层和若干个隐含层组成L同层之间的节点没有联接,相邻两层之间的节点两两相连,前一层节点的输出即为后一层节点的输入L它的基本运行机制是:给网络赋给初始权值和阀值,按照给定的样本前向计算网络输出,根据实际输出与期望输出之间的误差,反向
5、修改网络权值和阀值,如此反复训练使误差达到最小,用得到的网络模拟样本的输入输出关系(图1)L多层前馈神经网络的研究已有很长的历史L1958年,心理学家Rosenblatt提出了最早的感知器(Per2ceptron)模型,在此基础上,1965年,Nilsson提出了含有隐节点的多层网络构想L由于当时多层网络没有十分有效的学习算法,在处理非线性问题方面具有很大的局限性L1969年,Minsky和Papert在[1]《Perceptron》一书中指出没有隐含层的感知器模型连简单的异或问题都无法解决,故对多层网络模型的实用性持怀
6、疑态度L1974年,Werbos提出了含有隐含层的多层网络的误差反向传播(BackPropagationEr2ror,BP)算法,有效地克服了多层网络无法解决非线性分类问题的缺陷,但在当时并没有引起重视L直到[2]1986年,Rumelhart和Mc2Clelland等人对Werbos的算法进行了总结和分析提出了PDP(并行分布处理)理论,并进一步发展和完善了多层网络的BP算法,由此对多层网络的研究和应用又掀起了新的高潮,并将这类网络统称为多层前馈神经网络,多层前馈神经网络也成为神经网络中一个重要研究和应用领域L多层前馈
7、神经网络是由简单神经单元构成的具有明显层次结构的网络模型L它具有良好的非线性品质,灵活而有效的学习方式,完全分布式的存储结构,能进行大规模并行信息处理,对非线性系统具有较强a收稿日期:1998212230©1995-2005TsinghuaTongfangOpticalDiscCo.,Ltd.Allrightsreserved.第8期前馈神经网络泛化性能力的系统分析37的模拟能力L理论与应用研究表明,用前向神经网络能较好地满足函数逼近的有关要求LBP学习算法也是[3]实现函数逼近的一种方法L多层前向网络可训练学习一个连续
8、函数达到任意要求的精度L由于具有良好的非线性辨识能力,前馈网络被广泛的应用于系统辨识、模式识别、信号处理、故障诊断及经济预测等领域L前馈神经网络的泛化能力(generalizationcapability)是指对于同一样本集中的非训练样本,网络仍能[4]给出正确的输入—输出关系的能力L由于在实际应用当中人们所关心的并
