基于蚁群算法的svm参数选择研究

《基于蚁群算法的svm参数选择研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于蚁群算法的SVM参数选择研究刘胜1李妍妍1李佳来2(1哈尔滨工程大学，哈尔滨，150001；2空军第一飞行学院)摘要：针对SVM参数的选择依靠经验的缺点，为了能够自动地获得最佳的SVM参数，提出了基于蚁群算法的SVM参数优化方法．该方法克服了传统SVM参数选择需要试凑的缺点，从而确保了SVM参数优化的准确性。将该方法应用于船用锅炉汽包水位系统建模，并与采用遗传算法进行参数优化的SVM建模结果进行比较，数字仿真结果表明由该方法所得的SVM具有较简单的结构和较好的泛化能力，仿真精度高。具有一定的理论推广意义．关键词：支持向量机；支持向量机回归；蚁群

2、算法：非线性系统辨识1引言支持向量机(supportvectormachines，SVM)是20世纪90年代由Vapnik等人提出的一种新的学习机ll】。近年来，由于其优越的学习能力，受到了国际学术界的广泛重视。SVM是在统计学习理论的基础上形成的，力图实现结构风险的最小化，从而提高了学习机的泛化能力。与人工神经网络相比，SVM克服了神经网络所固有的局部极小点、过学习现象以及结构和类型的选择过于依赖于经验等缺陷。基于SVM方法的回归估计以可控制的精度逼近任一非线性函数，同时具有全局最优、良好的泛化能力等优越性能，因此支持向量机[]归(Support

3、VectorMachineRegression，SVR)算法的应用非常广泛【2J-【5J．但是，和其它学习算法一样，SVM的性能依赖于学习机的参数，且其参数的选取对于经验的依赖性比较强，到目前为止，还没有指导SVM参数选择的好方法。20世纪90年代初期，意大利学者DorigoMacro等人通过模拟自然界中蚂蚁集体寻径的行为而提出了蚁群算法(AntColonyAlgorithm，ACA)垆】，这是一种基于种群的启发式仿生进化算法．该算法最早成功应用于解决著名的旅行商Ihl题(TSP)pJ。它采用分布式并行计算机制，易于与其他方法结合，具有较强的鲁棒性

4、，最近几年开始引起了国内外专家学者的关注。同禁忌搜索算法相比，它对初始解的依赖性不强：同遗传算法相比，蚁群算法中的个体之间不断进行信息交流和传递，其正反馈机制更有利于发现较好解。本文提出_种基于蚁群算法的SVM参数选择算法，对SVM中的参数进行自动选取。由于蚁群算法有很强的搜索能力，从而为寻找全局最优解提供了保障，同时为解决SVM的参数选取问题提供了一条有效的途径。2SⅥⅥ回归算法11l设给定的输入样本z为r／维向量，，个样本及其输出值可表示为(五，M)，(屯，儿)，⋯，(西，乃)∈if,×R，对于回归问题，它的基本思想是通过一个非线性映射①将数据

5、映射到高维特征空间F，并在这个空间进行线性回归，如式(1)所示：厂(x)=W7①(x)+6(o：尺。—◆F，WEF)(1)上式中，b是阈值。这样，在高维特征空间的线性回归就对应于低维输入空间的非线性回归，免去了在高维空间w和①@)的点积计算。这里，①(．)是指由输入空间到特征空间的非线性映射，．厂(．)在特征空间中表示为一个线性函数。SVR的目的是用函数厂(．)去拟合数据样本，同时保证能得到很好的泛化能163力。为了增加回归的鲁棒性，Vapniklq提出了占·不灵敏损失函数，其特点是忽略小于占的拟合误差。综合考虑拟合误差和函数复杂度，SVR可以表示

6、为如下的约束优化问题：’．．刈Lwrw+c赫Islf)]一l乃一W7e(x,)-bs占+￡s．t．{w70(‘)+6一乃≤占+fl￡，f≥0这里，C>0是函数复杂度和损失误差的一个平衡量。式(2)的求解可以通过对偶形式的拉格朗日多项式。将问题转化为：'，min去∑∑(％一西)吒-aj‘)k(x，，一)+t

7、￡∑(q+口?)一∑"(q一西)，=l，=l。(3)这里七(而，■)=①(薯)70(■)称为核函数，是满足Mercer条件的任何对称的核函数，这里采用径向基(RBF)函数七(x，毛)：exp(二』乏三害三贮-)。SVM的输出为，厂(x)=∑(％一

8、西)七(薯，x)+6(4)J#I6：{{min(咒一杰(西一q)地，枷+·L’刳．max(咒一圭(西一％)七(x，薯))}(5)。，；IJ由以上各式可以看出，影响SVM回归的参数主要有以下三个：核函数盯2、误差惩罚函数C以及不敏感损失函数占。3基于蚁群算法的参数优化设计3．1问题描述与TSP问题不同，用于SVM参数优化的蚁群算法所搜索出的最终路径代表函数的极值，通过仃2、C、占在蚁群系统中由节点值体现，激素物质是遗留在蚂蚁所走过的每个节点(相当于TSP问题中的城市)上。并且，用于SVM参数优化的蚁群系统不是根据路径长度来更新信息物质的浓度，而是根据

9、目标函数值来更新信息素物质的浓度；目标函数中包含各蚂蚁所走过的所有节点的信息以及系统当前的性能指标信息。0卜=：卜．IlL