mlprbfsvm网络比较及其应用前景

《mlprbfsvm网络比较及其应用前景》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、MLP、RBF、SVM网络比较及其应用前景摘要：本文主要对MLP、RBF、SVM三种神经网络进行了详细的分析与讨论，从三种网络的结构、学习算法、功能和性能等方面进行了比较。同时，结合ft己的研宂方向讨论了三种结构的神经M络的应用前景。1.引言神经网络(neuralnetwork,NN)足一个以冇向图为拓扑结构的动态系统，它通过对连续或断续式的输入作状态响应而进行信息处理。是一个高度复杂的非线性动力学系统，不但具宥一般非线性系统的共性，更主耍的是它还具冇CI己的特点，比如萵维性、神经元之间的广泛互连性以及CI适应性或CI组织性等。神经网络是在许多学科的基础上发

2、展起来的，它的深入研究必然会带动其它相关学科的发展。它在数学理论木质上是非线性的数学理论，因此，现代非线性科学方而的进展必将推动神经网络的研究，同吋，神经网络理论也会对非线性科学提出新谏题。MLP(multilayerperception)、RBF(radialbasisfuntion)、SVM(s叩portvectormachine)三种网络足神经网络中研宂的一个重点，它们具冇很强的分类能力，它能解决模式分布非常鉍杂的分类问题，但是在结构和功能上存在一些差别。1.网络结构2.1单隐层MLP网络结构它由三部分组成：一组感知单元(源节点)组成输入M、一^计算节

3、点的隐含以、一足计算节点的输出层。第一层的激活函数为对数s形函数，第二层激活函数为线性函数。如图1所示，第一层的输出为(^:細咏⑺久+以广第二层的输出为。=pureiin(JTaIb)，•其中a为输出，上标代表网络的M•数，w为各W的权值，b力网络偏置。MLP足单层感知机的推广，它能解决单层感知机所不能解决的非线性问题。轴入笫一层笫二层Ra1=/»+^)(ta2=/2(FT2/1(FT1p+Z?1)+Z?2)图1单隐层MLP网络结构2.2RBF网络结构RBF网络是一个三层结构的抑馈网，它的隐层为径向基神经元结构。径向棊神经7C的净输入采用距离函数（如欧式距离

4、）乘以偏S,并使用径向拈函数作力激活函数。网络结构如下图2所示。a1=radbas(

5、

6、IWu-p

7、

8、b1)

9、2=pureIi)i(LW^ai+b〈图2RBF网络结构其中，R代农输入层并指出输入维数：Y代表由径向基神经元构成的隐层并指出神经元数M;S2是线性输出层。它的基本思想是：用RBF作为"隐”单元的基构成隐含层空间，将输入矢量H接（即不需要经过权连接）映射隐空间；当RBF的屮心确定后，映射关系也就确定丫；隐含层空间到输出层空间直接的映射是线性的。2.3SVM网络结构SVM是一种基丁•结构风险最小化池则的学习方法。对丁•线性川•分的二分类问题，试图寻找

10、最优线性分界面，让这个分界面使两类模式向觉分开的间隔最大，SVM网络原理如图3所示。对丁•线性不可分的二分类问题，通过寻找一个核函数，通过某种非线性映射将样本映射到一个高维空间（特征空间），在这个商维空间屮构造最优分类超平面，不同的核函数将形成不同的算法，常用的有多项式核函数，径向基函数，其结构如图4所示。图3SVMM络原理图两分类的线性判别函数的一般表达式力x+b，其支持向虽机的最优分界面为+=04SVM网络结构对于线性不nJ•分的问题，通过某种非线性映射将样木映射到一个高维空M，在这个高维空M构造最本ya.y.K(x.zx)^b优分类超平面，最优超平面为

11、i=13.学习算法3.1单隐层MLP网络学习算法3.1.1BP学习算法巳P算法是LMS算法的扩展，它使用均方误差最小化的最速丁降法，用來训练MLP网络。LMS算法则用来训练单层的感知机。核心思想是将输出误差以某种形式通过隐层向输入层逐层反传，即信号的正向传播，误差的反向传播。近似最速下降法表示如下：\(A;+l)=\(fc)-ocs(a)m川)=btk')-asmBP算法流程如下：①前向传播：给各连接权值分别赋一个区间(-1,1)内的随机数，选择一个数裾输入，从第--层开始，计算每--层输出ZUfO,1，一1)并保存各层输出。②反向传播：计算最后一层输

12、出和B标输出的差e=t-a，并根据公式计算最后一层的敏感性如果误差平方在权值更新后减少，则接受权值更新，并.FL学习速度乘上一个因子h>1,如果动虽系数g先前被置为0,则恢复到先前的值。如果误差平方的增加少于z，则接受权值史新，但是学习速度和动呈系数不变。改进的BP兑法也冇些缺点：需耍设置一些额外的参数，并且总法性能对参数变化很敏感，参数的选择还和问题冇关。容易使一些能收敛的数据变得不叫收敛。目前还冇许多的改进算法，遗传兑法(GA)和模拟，艿屮为网络第M层输出函数对净输An求导，最后一层为线性函数,求导为1。按照公式计算前-•层的敏感性,直到第一层，其中为第

13、m层到m-1层的权位。③凋权位：可以从第一层开始，也