智能故信息处理技术-第3章 神经网络3-径向基函数网络(1)(n)

《智能故信息处理技术-第3章 神经网络3-径向基函数网络(1)(n)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章径向基函数网络443.1径向基函数（RedialBasisFunction，RBF）443.2径向基函数参数的选取463.2.1基函数中心的选取463.2.2权系数的确定473.3高斯条函数4850第三章径向基函数网络径向基函数网络利用具有局部隆起的所谓径向基函数来做逼近或分类问题。它可以看作是一种前馈前面均用“前传”网络，所处理的信息在工作过程中逐层向前流动。虽然它也可以像BP网络那样利用训练样本作有教师学习，但是其更典型更常用的学习方法则与BP网络有所不同，综合利用了有教师学习和无教师学习两种方法。对于某些问题，径向基函数网络可

2、能比BP网络精度更高。3.1径向基函数（RedialBasisFunction，RBF）[Powell1985]提出了多变量插值的径向基函数方法。稍后[Broomhead1988]成功地将径向基函数用于模式识别。径向基函数可以写成(3.1.1)其中表示模式向量；是基函数中心；是权系数；是选定的非线性基函数。(3.1.1)可以看作是一个神经网络，输入层有个单元，输入模式向量由此进入网络。隐层有个单元，第个单元的输入为，输出为。输出层1个单元，输出为。假设给定了一组训练样本。当只取有限个值（例如，取0，1或1）时，可以认为是分类问题；而当可取

3、任意实数时，视为逼近问题。网络学习（或训练）的任务就是利用训练样本来确定输入层到隐层的权向量和隐层到输出层的权系数，使得(3.1.2)为此，当时，可以简单地令(3.1.3)这时(3.1.2)成为关于的线性方程组，其系数矩阵通常可逆，因此有唯一解(参见[MC])。在实践中更多的情况是。这时，(3.1.2)一般无解,只能求近似解。我们将在下一节详细讨论这种情况。常用的非线性基函数有以下几种：新增加的内容1)高斯基函数原来为：高斯基函数确定了后，可以选取如下的高斯基函数来构造径向基函数：50(3.1.4a)式中(3.1.4b)(3.1.4c)这

4、里参数是第个高斯基函数的“宽度”或“平坦程度”。越大，则以为中心的等高线越稀疏，越平坦，对其它的影响也就越大。的一种选法是(3.1.5)即类所含的样本点与中心的平均距离越大,则应该越平坦。2)薄板样条函数(3.1.6)3)多二次函数(3.1.7)4)逆多二次函数(3.1.8)一般认为，非线性函数的具体形式对网络性能的影响不大。RBF网络与第一章讨论的多层前馈网络（MLP）一样，能以任意精度逼近相当广泛的非线形映射（例如参见[CL][LX]）。由(3.1.1)可以看出，每一个基函数都可以（以为例）由平面上一族同心圆来表示，每一个同心圆上的点

5、具有相同的函数值。而整个RBF网络不外乎是由族同心圆互相影响而形成的族等高线来表示。因此，RBF网络对如原来为：例如图3.1所示图3.1所示的分类问题特别有效（）。50图3.1适合于RBF网络的分类问题3.2径向基函数参数的选取3.2.1基函数中心的选取原来为：基函数中心的选取假设RBF网络中隐单元的个数（即基函数的个数）已经确定，则决定网络性能的关键就是个基函数中心的选取。一种广泛应用的无教师学习算法是如下的k－均值聚类算法I：该算法与第七章中的C-均值聚类算法重复①给定训练样本。②将聚类中心初始化。(例如可选为。)③将按距离远近向聚类

6、，分成P组，即令(3.2.1)若。④计算样本均值，作为新的聚类中心（是类中样本的个数）：,(3.2.2)⑤若新旧相差很小，则停止。否则转③。K-均值聚类算法是循环地选取聚类中心与聚类集合的一个迭代过程。（暂时）选定各中心后，在步骤③中按距离远近将向聚类得到应该是十分自然的。而确定后，对新的中心与中各个的“总的距离”（即各个距离的平方和）(3.2.3)取极小，便得到确定新的公式(3.2.2)。这是一种竞争分类过程。在步骤③中竞争类资格获胜的各个将对新的聚类中心做出贡献。下面我们给出另外一种K-均值聚类算法II:①将聚类中心初始化。②随机选取

7、样本向量。50③将按距离远近向聚类，即令(3.2.4)若。④调整样本中心(是选定的学习速率)：(3.2.5)⑤若新旧相差很小，则停止。否则转②。K-均值聚类算法I和II分别是离线和在线学习算法。下面我们来考虑隐单元个数的确定。与第一章中BP网络的隐层单元个数的确定类似，其原则应该是在满足精度要求的前提下，越小越好。这不但减小网络成本，而且使逼近函数减少不必要的震荡。像确定BP网络的隐单元个数一样，我们可以从大的单元数出发，逐步减小，直到精度要求不再满足为止。也可以从较小的出发，逐步增加单元数，直到满足精度要求。3.2.2权系数的确定确定权

8、系数时，通常要利用训练样本的理想输出作有教师学习。一个简单办法是在确定之后,求如下误差函数关于的极小：(3.2.6)这时，可以用最小二乘法或其它优化方法，例如梯度下降法。为了减小推广误差,我们