基于相对误差平方和的BP算法.pdf

《基于相对误差平方和的BP算法.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、!!第!2!0!卷!!第!!6期!!!!!!!!!!!!!!!计!!!算!!!机!!!仿!!!!真!!!!!!!!!!!!!!!!!2!00!3!年!6!月!!!!文章编号：1006-934（82003）06-0032-04基于相对误差平方和的!"算法刘向阳1，王如云2，李未1（1.河海大学理学院，江苏南京210098；2.河海大学交通与海洋工程学院江苏南京210098）摘要：考虑到在很多情况下，人们更关心预报模型的预报值与实际值的相对误差情况，从而该文采用实际输出与希望输出的相对误差的平方和作为目标函数，

2、给出了一种基于相对误差平方和为最小的BP算法。考虑到网络的实际输出值介于0到1之间，该文对实际问题的理想输出值给出了一种规范化处理方法。通过大量算例检验证实，在基于相对误差平方和为检验标准前提下，利用该文所给算法求得的拟合值或预报结果要优于传统的基于绝对误差平方和作为目标函数的BP算法所得结果。关键词：人工神经网络；相对误差；反向传播算法中图分类号：TP301.6；TP18文献标识码：A⋯，（lI）），输出向量为CI（I），c（I），⋯，c（I））。输入层至中#引言p=（c12p自从1986年D.E.Rum

3、eihart，G.E.Hinton和R.J.Wiiiiams间层的连接权为｛wi｝，i=1，2，⋯，I；=1，2，⋯，p。中间层提出误差逆传播算法（BP算法）［1］之后，误差逆传播神经网至输出层的连接权为｛1t｝，=1，2，⋯，p；t=1，2，⋯，g。中间络（BP神经网络）就成了目前应用最广泛的人工神经网络。层的各节点的阈值为｛!｝，=1，2，⋯，p。输出层各节点的阈传统的BP神经网络，采用实际输出与希望输出的绝对误差值为｛"t｝，t=1，2，⋯，g，I=1，2，⋯，m。的平方和作为目标函数。在网络的学习过

4、程中，追求此目标取激活函数为Sigmoid函数函数达到最小。然而，在检验神经网络学习效果的许多时（fx）=1（/1+e-x）（1）候，人们又不是采用实际输出与希望输出的绝对误差和的大这个函数的一阶导数可以用它本身简单地表示出来小为评价标准，而是采用实际输出与希望输出的相对误差和的大小来进行评价，这样就造成了学习过程和评价检验的不f（'x）=（fx）（1-（fx））（2）一致性［2］。其实我们可以直接引进实际输出与希望输出的一般地我们有相对误差平方和作为学习过程中的目标函数，这样就避免了I（I）（I）学习和检

5、验标准的二重性。S=#aiwi-!=1，2，⋯，p（3）i=1（I）（I））=1，2，⋯，p（4）6=（fS$基于相对误差的!"算法网络能量函数的导出p以三层的BP神经（lI）=6（I）1-"t=1，2，⋯，g（5）t#tt=1网络为例，如图1所示，（I）（I））t=1，2，⋯，g（6）网络有一个输入层、一ct=（flt个隐含层和一个输出由于网络的实际输出为c（tI），故网络的输出值区间为层。设网络中输入层的图#三层!"神经网络结构图（0，1），而实际问题的理想输出值往往不在此区间内，所以需节点数为I，隐含

6、层的节点数为p，输出层的节点数为g。要对理想输出y（I）进行规范化处理。设输出规范化区间为t设网络的输入向量为AI（I），a（I），⋯，a（I）），希望输=（a12I［A，B］（0

7、-A）M+A（7）12pt-mt（6（I），6（I），⋯，6（I）），输出层的输入向量为LI（I），（lI），12p=（l12由式（7）可得网络实际输出对应的实际值为（c（I））$c（I）t-A）（Mt-mt（8）t=mt+基金项目：国家自然科学基金（59979004）、高等学校博士学科专项B-A科研基金（1999029410）于是，由式（8）可得到目标函数为相对误差平方和形式的第收稿日期：2002-07-10个学习模式对所对应的相对误差平方和为—32—1gy（I）-"c（I）2差的影响为IttE=2!(y

8、（I）)II（I）t=1t#E#E#Sj=（I）i=1，2，⋯，I；j=1，2，⋯，p（16）（c（I）-A）（M-m）2#wij#Sj#wijgæmtttö1t+=ç1-B-A÷（9）其中2!t=1èy（I）øtIgI#（I）（I）#E#Et#6j（I）=[!（I）（I）]（I）#Sjt=1#t#6j#Sj3基于相对误差的BP算法数学推导g[（-i（I））1]（I1-6I）（17）为使EI随连接权的修正按梯度下