资源描述：
《提高bp网络性能的一种方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、1999年2月东北大学学报(自然科学版)Feb.1999第20卷第1期JournalofNortheasternUniversity(NaturalScience)Vol20,No.1提高BP网络性能的一种方法张宝金胡青苗曾梅光田德新(东北大学理学院,沈阳110006;武汉钢铁公司钢研所,武汉430080)摘要分析了BP网络在目标量的极值区存在较大误差的原因,提出了目标量扩展的数据标度化方法!检验结果表明,该方法不但可以消除目标量极值区的大误差现象、提高网络训练的收敛速度,而且还可以使网络具有外推预测功能,即同时提高
2、了BP网络的训练性能和应用性能!关键词人工神经网络,BP算法,标度化,网络性能!分类号TP3016BP网络是目前应用最为广泛的人工神经网[1]由BP算法,对于一个m层网络,第p个络模型之一,因采用误差反传(BackPropagation)训练样本,第t次训练,各单元的输出为[1]训练算法而得名!作为一种智能型信息处理系O(l)(l)(l)O(l-1)(l)pi=F(Spi),Spi=pjWiji统,被广泛用于模式识别和预测等问题的研究[2,3]l=1,2,∀,m-1(1)!近年来,作为一种新型计算机辅助材料研究技术,BP网络在预测
3、和优化等材料设计研究方其中,Opi和Opj分别为l层i单元和l-1层j单面取得了重要进展[3~5]元的输出;Wij是l-1层j单元到l层i单元的连!训练(学习)和联想是BP网络的两个基本操作!训练是按照一定的规则调接权;F()为转移函数,对于实数值的问题s-s节网络权值,建立输入输出间的内在规律性;而联e-eF(S)=s-s(2)e+e想则是利用训练获得的规律性进行预测输出!只取样本误差函数为有达到高精度的训练性能才能获得高可靠性的使2Epj=(Tpj-Ypj)(3)用性能!所以,如何改善BP网络的训练质量,提(m-1)高网络的使用性能是BP
4、网络应用研究中的根本其中,Tp是p训练样本的目标值;Ypj=Opj问题!是网络的输出值!则由输出层到输入层的误差信本文在对BP网络训练误差进行分析的基础号为(m-1)(m-1)上,提出在BP算法的数据标度化x中采用目标量输出层:p=2Tp-YpF#(Sp)扩展的方法,降低目标量极值区的训练误差、提高隐含层:(l)(l+1)(l+1)(l)pi=,dpkWkiF#(Spi)(4)k训练速度,并使网络具有一定的外推预测能力,在权值修正量为提高其训练性能的同时提高应用性能!(l)(l)(l-1)pWij=piOpj(5)1BP网络训练算
5、法及误差分析考虑附加冲量项,则第t+1次训练的权值为(l)(l)(l)1.1BP算法Wij(t+1)=Wij(t)+Wij(t)+(l)BP网络利用误差反传训练算法通过使全局!Wij(t-1)(6)误差函数最小化过程完成输入到输出的映射!来其中,是训练速率系数,!是冲量项系数!自训练样本集的学习信号由输入层向输出层传如此,相继向网络输入训练样本,修正权值!播,计算网络输出与目标量的误差,计算误差信号往复循环,直到训练误差达到要求为止!并由输出层向输入层反向传播,同时逐层修正连1.2训练数据的标度变换接权重,使误差最小化!对实数值问题,训
6、练样本中各数据的量纲往19980429收到!张宝金,男,40,副教授;曾梅光,男,64,教授,博士生导师!国家∃九五%科技攻关项目(编号:9552701020203)!第1期张宝金等:提高BP网络性能的一种方法109往是不同的,数值差别也很大,因此,在训练之前标量极值20和40附近明显存在着较大的误差!必须对其进行标度化!当使用式(2)作为转移函数时,一般采用下式将训练数据标度到-1~+1之间!2Di-Dimax-DiminD#i=(7)Dimax-Dimin其中,Dimax和Dimin分别是数据Di的极大和极小值,Di
7、#是转换后的数值!由式(1)可见,网络输出也在-1~+1之间,网络的实际输出需要通过逆变换将其转换成具有原先量纲的实际数据!图2目标量极值区的大误差现象1.3BP网络训练误差分析()网络输出;)函数曲线!BP网络的训练误差由式(3)表示,训练过程2目标量扩展的BP算法就是通过调节权值使其极小化!但是,利用上述训练算法和标度化方法时,在训练中将会造成网络2.1BP网络性能的基本要求在目标量的极值区产生转换和输出的失真及训练BP网络应用的一个重要方面是进行预测与麻痹现象,从而使得该区域产生较大的训练误优化研究!即将经验数据(如试验数据、观测
8、数据差!等)作为训练样本,通过训练找出规律性,进而达在训练过程中,网络输出是经过转移函数作到预测与优化的目的!这样的训练数据,特别是对用的,而
