mlp、rbf、svm网络比较及其应用前景

《mlp、rbf、svm网络比较及其应用前景》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、MLP、RBF、SVM网络比较及其应用前景   摘 要： 本文主要对MLP、RBF、SVM三种神经网络进行了详细的分析与讨论，从三种网络的结构、学习算法、功能和性能等方面进行了比较。同时，结合自己的研究方向讨论了三种结构的神经网络的应用前景。1.     引言       神经网络(neuralnetwork，NN)是一个以有向图为拓扑结构的动态系统，它通过对连续或断续式的输入作状态响应而进行信息处理。是一个高度复杂的非线性动力学系统，不但具有一般非线性系统的共性，更主要的是它还具有自己的特点，比如高维性、神经元之间的广泛互连性以及自适应性或自组织性等。神经网络是在许多学科的基础上发展

2、起来的，它的深入研究必然会带动其它相关学科的发展。它在数学理论本质上是非线性的数学理论，因此，现代非线性科学方面的进展必将推动神经网络的研究，同时，神经网络理论也会对非线性科学提出新课题。MLP(multilayerperceptron)、RBF(radialbasisfuntion)、SVM(supportvectormachine)三种网络是神经网络中研究的一个重点，它们具有很强的分类能力，它能解决模式分布非常复杂的分类问题，但是在结构和功能上存在一些差别。1.     网络结构2.1单隐层MLP网络结构        它由三部分组成：一组感知单元(源节点)组成输入层、一层计算节点

3、的隐含层、一层计算节点的输出层。第一层的激活函数为对数s形函数，第二层激活函数为线性函数。如图1所示,第一层的输出为，第二层的输出为,其中a为输出，上标代表网络的层数，W为各层的权值，b为网络偏置。MLP是单层感知机的推广，它能解决单层感知机所不能解决的非线性问题。图1单隐层MLP网络结构2.2RBF网络结构        RBF网络是一个三层结构的前馈网，它的隐层为径向基神经元结构。径向基神经元的净输入采用距离函数（如欧式距离）乘以偏置，并使用径向基函数作为激活函数。网络结构如下图2所示。 图2 RBF网络结构其中，R代表输入层并指出输入维数；代表由径向基神经元构成的隐层并指出神经元

4、数目；是线性输出层。它的基本思想是：用RBF作为“隐”单元的基构成隐含层空间，将输入矢量直接(即不需要经过权连接)映射隐空间；当RBF的中心确定后，映射关系也就确定了；隐含层空间到输出层空间直接的映射是线性的。2.3SVM网络结构       SVM是一种基于结构风险最小化准则的学习方法。对于线性可分的二分类问题，试图寻找最优线性分界面，让这个分界面使两类模式向量分开的间隔最大，SVM网络原理如图3所示。对于线性不可分的二分类问题，通过寻找一个核函数，通过某种非线性映射将样本映射到一个高维空间（特征空间），在这个高维空间中构造最优分类超平面，不同的核函数将形成不同的算法，常用的有多项式

5、核函数，径向基函数，其结构如图4所示。                         图3SVM网络原理图两分类的线性判别函数的一般表达式为              ，其支持向量机的最优分界面为： 图4SVM网络结构       对于线性不可分的问题，通过某种非线性映射将样本映射到一个高维空间，在这个高维空间构造最优分类超平面，最优超平面为。3.    学习算法3.1单隐层MLP网络学习算法3.1.1BP学习算法        BP算法是LMS算法的扩展，它使用均方误差最小化的最速下降法，用来训练MLP网络。LMS算法则用来训练单层的感知机。核心思想是将输出误差以某种形式通过隐层向

6、输入层逐层反传，即信号的正向传播，误差的反向传播。近似最速下降法表示如下：           BP算法流程如下：①前向传播：给各连接权值分别赋一个区间（-1，1）内的随机数，选择一个数据输入，从第一层开始，计算每一层输出并保存各层输出。②反向传播：计算最后一层输出和目标输出的差e=t-a,并根据公式计算最后一层的敏感性,其中为网络第M层输出函数对净输入n求导，最后一层为线性函数，求导为1。按照公式计算前一层的敏感性，直到第一层,其中为第m层到m-1层的权值。③调权值：可以从第一层开始，也可以从最后一层开始进行调权，可按照下公式调节权值。④选择下一个输入，继续上面的过程，直到网络收敛为

7、止。     标准BP算法实际上是一种简单的最速下降静态寻优算法，在修正W(k)时，只是按照k时刻的负梯度方式进行修正，而没有考虑到以前积累的经验，即以前时刻的梯度方向，从而使学习过程发生振荡，收敛缓慢。3.1.2基于动量的BP学习算法            由于BP算法的收敛速度比较慢，可能有多个局部极小点，有不稳定性，故提出基于动量的BP算法。它能平滑振荡提高收敛性能。故引入一个动量系数,当增加时，振荡减小，从而有利于减少振荡数目，保持平均