关于插值神经网络的构造性

《关于插值神经网络的构造性》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、维普资讯http://www.cqvip.com自．爱科誊遗展第18卷第3期2008年3月334关于插值神经网络的构造性*谢庭藩曹飞龙“中国计量学院信息与数学科学系，杭州310018摘要神经网络插值问题是神经网络理论与应用的研究热点与难点之一．文中研究具有插值性质的前向神经网络的构造与逼近问题．对于一般的Sigmoidal激活函数和d维Euclid空间中的插值样本，分别构造了精确插值和近似插值的单隐层前向神经网络，研究这两类网络之间的偏差，并分别估计它们对目标函数的逼近误差，指出神经网络插值与一般代数多项式插值之间的本质差异．关键词神经网络

2、精确插值近似插值偏差估计设R是d维Euclid空间，{)；。是R中的究热点与难点之一，至今已有较多研究．对于激活+1个互异的点，又设{)一。是+1个实数，我函数()为对数Sigmoidal函数们称S()一(2)．(X0，f0)，(X1，f1)，⋯，(，)(1)的情形，精确插值网络存在性的代数证明早已为人所为插值样本，{)；；。为插值结点组．如果有一个知．文献[1]证明了当激活函数是非减的Sigmoidal单隐层前向神经网络函数时，精确插值网络是存在的．文献[2—5]也研究过精确插值网络的存在性问题．然而，要具体构N(x)一∑；0ci~(Wi

3、·x+)造精确插值网络就会出现(+1)×(+1)阶矩阵的求逆问题，随着插值节点数的增大，计算量也迅满足条件速增大，这是一项非常麻烦的工作．于是，人们转向寻求近似插值网络的研究，即构造一个网络使之N(xj)：(．f：0，1，⋯，)，与精确插值网络有任意小的偏差，并由它代替精确则说N。(x)是样本(1)的精确插值网络，这里w·x插值网络逼近目标函数，文献E6]曾讨论过这个问表示向量w与x的内积．题．最近文献[7]在激活函数为非减的Sigmoidal函一个R上定义的有界函数被称为Sigmoidal数的条件下，给出精确插值网络存在性的代数证函数，如

4、果它满足条件明，并且对任意正数￡，构造了￡近似插值网络N(x)，即适合条件lim()一0，lim()一1．z—·一。oz—·+。oN(Xi)一I<￡，J一0，1，⋯，神经网络插值问题是神经网络理论与应用的研2007—07—24收稿，2007—09—21收修改稿*国家自然科学基金(批准号：60473034)和浙江省教育厅科研重点基金(批准号；20060543)资助项目**通信作者，E-mail：flcao@263．net维普资讯http://www.cqvip.com自盟科荸近展第18卷第3期2008年3月335的单隐层前向神经网络．特别地，

5、他们还就激活函(z。，f0)，(z1，f1)，⋯，(z，)(4)数为对数Sigmoidal函数(2)，利用S(z)的可微性的精确插值网络，我们先建立如下的构造了在C[n，6](定义在[n，6]上的连续函数空定理1设(z)是Sigmoidal函数，则当间)中稠密的单隐层前向神经网络集．如所周知，Sigmoidal函数是常用的激活函数，3o(A)<1(5)人们在讨论神经网络的稠密性与复杂性时就经常使用一般的Sigmoidal函数作为神经网络的激活函时，存在)。CR，使得神经网络数[8．因此，自然要问：在讨论插值神经网络时，精确网络与近似网络的激

6、活函数可否由一般的2A(x-xj)+A一—Sigmoidal函数构成呢?这是本文将予以肯定回答N(z，A)：∑(—一0、的第一个问题．此外，已有的关于网络插值的研究2A(x-x．)+A(6)cf一——大多仅停留在存在性的研究上，很少研究插值网络与近似插值网络对目标函数的逼近误差，而从应用是样本(4)的精确插值．的角度看，这又恰是十分重要的问题．基于这一目证明显然，我们只要证明在条件(5)下关于的，我们利用作为刻画逼近阶和描述函数光滑性的未知数{cj)一。的线性方程组重要工具——连续模，分别建立插值网络和近似网络对目标函数的逼近误差．同时，我

7、们将指出神经N。(zi，A)一fi(t一0，1，⋯，n)(7)网络插值与代数多项式插值之间的本质差异．我们将证明对于Sigmoidal激活函数及样本(1)，精确插是有解的．为此，简记值网络是存在的，并且针对一维样本和Sigmoidal激活函数构造了近似插值网络，建立近似插值网络％(A)一(＼一1一xi+A)(，=0，1，⋯，一1)，与精确插值网络间的偏差估计．此外，我们将分别给出近似插值网络与精确插值网络逼近目标函数的(A)一(一垒+A1(一0，1，⋯，一1)，误差估计，进一步考虑如何将结论推进到多维空间．cA一(一+A1(．f=0，1，⋯

8、，一1)，e(A)一(A)．1精确插值网络的存在性则由(6)式看到，方程组(7)的系数行列式为设(z)是Sigmoidal函数，A>0，记e00(A)e01(A)e0(A)(A)