径向基函数神经网络

《径向基函数神经网络》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、径向基函数神经网络模型与学习算法1985年，Powell提出了多变量插值的径向基丙数(RadicalBasisFunction,RBF)方法。1988年，Moody和Darken提出了一种神经网络结构，即RBF神经网络，属于前向神经网络类型，它能够以任意精度逼近任意连续函数，特别适合于解决分类问题。RBF网络的结构与多层前向网络类似，它是一种三层前向网络。输入层由信号源结点组成；第二层为隐含层，隐单元数视所描述问题的需要而定，隐单元的变换函数RBFO是对中心点径向对称且衰减的非负非线性函数；第三层为输出层，它对输入模式的作用作

2、出响应。从输入空间到隐含层空间的变换是非线性的，而从隐含层空间的输出层空间变换是线性的。RBF网络的基本思想是：用RBF作为隐单元的“基”构成隐含层空间，这样就可以将输入矢量直接(即不需要通过权接)映射到隐空间。当RBF的屮心点确定以后，这种映射关系也就确定了。而隐含层空间到输出空间的映射是线性的，即网络的输出是隐单元输出的线性加权和。此处的权即为网络可调参数。由此可见，从总体上看，网络市输入到输出的映射是非线性的，而网络输出对叮调参数而言却又是线性的。这样网络的权就可由线性方程直接解岀，从而大大加快学习速度并避免局部极小问题

3、。1.1RBF神经网络模型径向基神经网络的神经元结构如图1所示。径向基神经网络的激活函数采用径向基函数，通常定义为空间任一点到某一中心之间欧氏距离的单调函数。由图1所示的径向基神经元结构可以看出，径向基神经网络的激活函数是以输入向量和权值向量之间的距离

4、

5、dist

6、

7、作为自变量的。径向基神经网络的激活函数的一般表达式为/?(

8、

9、dist

10、

11、)=e~yist^(1)图1径向基神经元模型随着权值和输入向量之间距离的减少，网络输出是递增的，当输入向量和权值向量一致时，神经元输出1。在图1中的b为阈值，用于调整神经元的灵敏度。利用径向

12、基神经元和线性神经元可以建立广义回归神经网络，该种神经网络适用于函数逼近方面的应用；径向基神经元和竞争神经元可以组建概率神经网络，此种神经网络适用于解决分类问题。由输入层、隐含层和输岀层构成的一般径向基神经网络结构如图2所示。在RBF网络中，输入层仅仅起到传输信号的作用，与前面所讲述的神经网络相比较，输入层和隐含层之间可以看做连接权值为1的连接。输出层和隐含层所完成的任务是不同的，因而它们的学习策略也不相同。输岀层是对线性权进行调整，采用的是线性优化策略。因而学习速度较快。而隐含层是对激活函数(格林函数或高斯函数，一般取高斯)

13、的参数进行调整，采用的是非线性优化策略，因而学习速度较慢。1.2RBF网络的学习算法RBF神经网络学习算法需要求解的参数有3个：基函数的中心、方差以及隐含层到输出层的权值。根据径向基函数中心选取方法的不同，RBF网络有多种学习方法，如随机选取中心法、自组织选取中心法、有监督选取中心法和正交最小二乘法等。下面将介绍口组织选取屮心的RBF神经网络学习法。此方法由两个阶段组成：一是自组织学习阶段，此阶段为无导师学习过程，求解隐含层基函数的中心与方法；二是有导师学习阶段，此阶段求解隐含层到输出层之间的权值。径向基神经网络中常用的径向基

14、函数是高斯函数，因此径向基神经网络的激活函数可表示为(2)式中

15、

16、xp-5欧式范数。高斯函数的屮心。°咼斯函数的方斧O由图2的径向基神经网络的结构可得到网络的输出为f12、<2CT2ci/h为e“exp式中©=6"'对,…，圮;）第P个输入样本。P=12…,PP表示样本总数。网络隐含层结点的中心。-隐含层到输出层的连接权值。隐含层的节点数。儿与输入样本对应的网络的第j个输出结点的实际输出。设d是样本的期望输出值，那么基函数的方差可表示为2(4)J却厂y用

17、学习算法具体步骤如下:1.基于K■均值聚类方法求解基函数屮心c1）网络初

18、始化：随机选取力个训练样本作为聚类中心G（心12…屈2）将输入的训练样本集合按最近邻规则分组：按照州与中心为°，之间的欧式距离将©分配到输入样本的各个聚类集合色"i，2,…,P）中。3）重新调整聚类中心：计算各个聚类集合％中训练样本的平均值,即新的聚类中心如果新的聚类中心不再发牛•变化，则所得到的5即为RBF神经网络最终的基函数中心，否则返回2）,进入下一轮的中心求解。2.求解方差6该RBF神经网络的基函数为高斯函数，因此方差5可由下式求解：式中Cmax所选取中心之间的最大距离o3•计算隐含层和输出层Z间的权值隐含层至输出层之

19、间神经元的连接权值可以用最小二乘法直接计算得到，计算公式如下:h①=exp丁","max