集员估计理论在神经网络中的应用

《集员估计理论在神经网络中的应用》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、电子测量与仪器学报2004年增刊集员估计理论在神经网络中的应用1姜燕何青童调生(湖南大学电气与信息工程学院，长沙市410082)摘要:本文研究了未知但有界误差下神经网络的学习算法问题，在分析传统学习算法的基础上，提出了一种最优定界椭球学习方法，该方法具有收敛速度快，精度高等优点。通过对NARMA模型参数估计的仿真结果表明此算法的有效性。关键词:集员估计理论最优定界椭球学习算法ApplicationofSetMembershipEstimationTheorytoNeuralNetworksYanJiangQingHeTiaoshengTong(CollegeofElectr

2、ical&InformationEngineering,HunanUniversityChangsha410082)Abstract:Thispaperpresentstheproblemofthelearningalgorithminneuralnetworksunderunksownbutbounded(UBB)error.Basedontheanalysisofthetraditionalmethods,anewoptimalboundingellipsoidlearningalgorithmisproposed.Thisalgorithmhassomebetterp

3、roperties,suchasbetterconvergencespeedandaccuracy.ThevalidityofthealgorithmisprovedthroughthesimulationresultsoftheparameterestimationofNARMAmodel.Keywords:Setmembershipestimationtheory,optimalboundingellipsoid,learningalgorithm.1V合1子口仁J神经网络的学习实际上是一个非线性优化问题，误差反向传播(简称BP)算法是经典的神经网络学习算法，但BP算法

4、却并不十分完善，它存在学习收敛速度太慢，且收敛速度与初始权值的选择有关等缺陷;有关神经网络学习算法研究一直是人们关注的热点。[1]首次提出训练前馈神经网络可视为非线性动态系统的辩识问题，并成功的将扩展卡尔漫滤波(EKF)用于神经网络，来提高学习算法的收敛速度。集员估计理论是考虑噪声未知但有界下的估计理论，最早用于不确定性系统的状态估计。1979年Fogel和1982年Fogel和Huang发表的成果[2][3]，尤其是他们提出的最优定界椭球(OptimalBoundingEllipsoid，简称OBE)方法被广泛应用于集员辩识中。此后又提出了许多相关算法。充分利用OBE算法

5、收敛速度快，精度高的特点，本文提出了一种类似于EKF的OBE算法(简称EOBE)，并将该算法用于神经网络权值训练当中。本文内容安排如下:第一节为引言;第二节描述基于扩展OBE神经网络学习算法;第三节给出对NARMA模型参数估计的仿真实验，验证了本算法的有效性;第四节小结。2算法描述神经网络的输入，输出和连接权值的关系可用下面的状态方程来描述「1]‘国家自然科学基金(No.60272051)资助SupportedbytheNationalNatureScienceFoundationofPR.China(No.60272051)636电子测量与仪器学报2004年增干11w(k

6、)=w(k一1)(1)d(k)=hk(w(k一1))+v(k)=xm(k)+v(k)(2)这里w(k)为从神经网络输出层到输入层，上一节点到下一节点的所有连接权值组成的状态向量，即N'=[(WM-`)T,K,(W2)T,(WI)T]T;d(k)为期望输出向量;x'"(k)为实际输出向量;v(k)为未知但有界噪声，即模型误差。h,()为非线性时变函数。将测量方程(2)围绕W(k一1)线性化，d(k)二)，二、ck-n"'(k一1)+T(k)=C(k)iv(k一1)+v(k)则基于OBE的算法可归纳如下:(s)估计误差d(k)=d(k)一x"'(k)削d(k)1卜r时(4)w(

7、k)=w(k一1)+K(k丫(k)(5)K(k)=P(k一1)CT(k)[+C(k)P(k一1)CT(k)]-,A(k)(6)P(k)=P(k一1)一K(k)C(k)P(k一1)(7)lid(k)11`a2(k)=a2(k一1)+A(k)y2一A(k)q(k)1(IldMll、其中A(k)=—}竺一‘‘巴一1}q(k)和g(k)分别为矩阵Q(k)=I+A(k)C(k)P(k-1)C(k)T和g(k)}Y)G(k)=C(k)P(k一1)C(k)T的最大奇异值。判Id(k)11!5r时，w(k)=w(k-1),P(k)