基于支持向量机的曲线重建方法

《基于支持向量机的曲线重建方法》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于支持向量机的曲线重建方法

2、第1内容加载中...　　　曲线重建问题其实质就是函数拟合逼近问题，采用神经网络方法来解决是目前研究比较多的一个问题，利用样本数据（xi，yi），i＝1，2，…，m对神经元进行训练，模拟输入输出数据的内部关系，进而拟合出样本点的函数关系。这种方法在数据受到干扰时显得尤其重要，目前通常采用的神经网络学习算法有传统的BP算法［1］，但BP算法存在着局部极小以及收敛速度慢等缺点，因此又有了对BP算法的改进算法，目前研究比较多的是正交网络模型算法。本文提出采用支持向量机（SVM）学习算法进行求解。SVM算法是Vapnick等人根据统计学习理

3、论（SLT）提出的一种新的学习方法［2，3］，它根据结构风险最小化原则，尽量提高学习机的泛化能力，即由有限的训练集样本得到小的误差能够保证对独立的测试集仍保持小的误差，而且它是一个凸二次优化问题，能保证找到的极值解就是全局最优解。这些特点使支持向量机方法成为一种优秀的学习算法，能够较好地解决基于神经网络的机器学习难以解决的问题。1　SVM网络算法1．1　线性SVM算法［4，5］　　支持向量机函数拟合首先考虑用线性回归函数　500)this.style.ouseg(this)">式中，ξ，ξ＊是松弛因子，当划分有误差时，ξ，ξ＊i都大于0，误差不存在取0。这时，

4、该问题转化为求优化目标函数最小化问题　500)this.style.ouseg(this)">式（2）中第一项使拟合函数更为平坦，从而提高泛化能力；第二项为减小误差；常数C＞0表示对超出误差ε的样本的惩罚程度。　　求解式（1）、（2）可看出，这是一个凸二次优化问题，所以引入Lagrange函数　500)this.style.ouseg(this)">　500)this.style.ouseg(this)">　500)this.style.ouseg(this)">其约束条件为　500)this.style.ouseg(this)">　500)this.styl

5、e.ouseg(this)">1．2　非线性SVM算法　　非线性SVM的基本思想是通过事先确定的非线性映射将输入向量映射到一个高维特征空间（Hilbert空间）中，然后在此高维空间中再进行线性回归，从而取得在原空间非线性回归的效果［6］。　　首先将输入量x通过映射Φ∶Rn→H映射到高维特征空间H中用函数f（x）＝ouseg(this)">　　式（7）中涉及到高维特征空间点积运算Φ（xi）.Φ（xj），而且函数Φ是未知的、高维的。支持向量机理论只考虑高维特征空间的点积运算K（xi，xj）＝Φ（xi）.Φ（xj），而不直接使用函数Φ。称K（xi，xj）为核函数，核

6、函数的选取应使其为高维特征空间的一个点积，常用的核函数有［7］　500)this.style.ouseg(this)">　　（4）二层神经网络（Sigmoid）核函数：K（x，xi）＝tanh［kx.xi－δ］。　　因此式（7）变成　500)this.style.ouseg(this)">1．3　SVM网络模型　　用支持向量机求得的拟合函数形式上类似于一个神经网络，其输出是若干中间节点的线性组合，而每一个中间层节点对应于输入样本与一个支持向量的点积，如图1所示。500)this.style.ouseg(this)">　　可以看到，网络的输入层含一个神经元，用x

7、表示输入矢量，xi表示第i个学习样本点；隐层含n个神经元；输出层含一个神经元，y表示网络的输出。输入层与隐层的连接权为1，阈值为0；500)this.style.ouseg(this)">表示隐层第i个神经元与输出层神经元的连接权，其阈值为0。因此支持向量机也可以称为支持向量网络。2　仿真实验　　实验：样本数据取自sin（x）函数，x∈［0°，360°］，每隔18°取一个样本。SVM核函数采用线性核函数K（x，xi）＝x.xi，曲线重建结果如图2。可以看到支持向量机重建的曲线非常接近sin（x）曲线，图中两条曲线基本重合，重建曲线与原始曲线的误差曲线如图3所示

8、。500)this.style.ouseg(this)">500)this.style.ouseg(this)">　　在实验中发现用支持向量机来进行曲线重建计算时间相对较短，且拟合精度高。3　结　论　　本文提出的SVM方法解决函数拟合曲线重建问题，关键在于求二次规划最优解，它避免了传统的BP网络学习算法的迭代计算，从而克服了BP算法收敛速度慢，及可能陷入局部极小的缺点。因此该SVM方法具有适应性强、效率高的特点。另外该方法只需用较少的样本点即可重建曲线，不仅在样本点处具有很高的逼近精度，在非样本点处拟合精度也较高。这里的有限样本数与拟合函数的VC维数有关。