用于回归估计的支持向量机方法

《用于回归估计的支持向量机方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、系统仿真学报Vol.15No.11•1580•JOURNALOFSYSTEMSIMULATIONNov.2003用于回归估计的支持向量机方法杜树新，吴铁军(浙江大学工业控制技术国家重点实验室，浙江大学智能系统与决策研究所,浙江杭州310027)摘要:用于回归估计的支持向量机方法以可控制的精度逼近非线性函数，具有全局最优、良好泛化能力等优越性能，得到广泛的研究。描述了该方法的基本思想，着重讨论了n-SVM、最小二乘SVM、加权SVM、线性SVM等支持向量机的新方法，降低训练时间和减少计算复杂性的分解法、SMO及增量

2、学习算法。在非线性系统参数辨识、预测预报、建模与控制研究中，支持向量机是很有发展前途的研究方法。关键词：支持向量机；回归估计；预测预报；建模与控制文章编号：1004-731X(2003)11-1580-06中图分类号：TP181文献标识码：ASupportVectorMachinesforRegressionDUShu-xin,WUTie-jun(NationalKeyLabofIndustrialControlTechnology,InstituteofIntelligentSystemsandDecision

3、Making,ZhejiangUniversity,Hangzhou310027,China)Abstract：SupportVectorMachine(SVM)forregressionhasrecentlyattractedgrowingresearchinterestduetoitsobviousadvantagesuchasnonlinearfunctionapproximationwitharbitraryaccuracy,andgoodgeneralizationability,uniqueandgl

4、oballyoptimalsolutions.AnoverviewofthebasicideasunderlyingSVMforregressionisgiveninthispaper.Inparticular,newmethodssuchasn-SVM,LS-SVM,weightedSVMandlinearSVM,andoptimizationalgorithmsincludingdecompositionmethodandSMOandincrementallearningwithfastcomputation

5、alspeedandeaseofimplementationareconcentratedaswell.SVMforregressionisanimportantandpromisingnewdirectionintheareaofnonlinearparameteridentification,forecast,modelingandcontrol.Keywords:supportvectormachine;regression;forecast;modelingandcontrol方法以训练误差最小化作为优化

6、目标，而是以训练误差作为引言优化问题的约束条件，以置信范围值最小化作为优化目标，从观测数据中学习归纳出系统规律，并利用这些规律因此，SVM的泛化能力要明显优越于神经网络等传统学习对未来数据或无法观测到的数据进行预测，一直是智能系统方法。另外，SVM的求解最后转化成二次规划问题的求解，研究的重点。这类数据驱动（Data-Driven）的研究方法中，因此，SVM的解是唯一的、也是全局最优的。正是上述两神经网络方法是最为广泛的，通过学习，不断修正神经网络大优点，使SVM一经提出就得到了广泛的重视。中神经元的各权重系数，

7、使训练误差充分小。尽管神经网络SVM方法最早是针对模式识别问题提出来的，随着方法可以得到小的训练误差，但对于未经训练的新数据，其Vapnik对e不敏感损失函数的引入，SVM已推广到非线性系泛化能力较差，存在过学习问题。神经网络学习方法不成功统的回归估计，并展现了极好的学习性能。支持向量机方法原因在于它是基于经验风险最小化准则（EmpiricalRisk在非线性系统辨识、预测预报、建模与控制的潜在广泛应用，[1][2]Minimization,ERM）。根据统计学习理论，为了控制泛化使得对其研究显得非常重要。本文描

8、述了用于回归估计的支能力，需要控制两个因素，即经验风险值和置信范围值。ERM持向量机基本方法，并对目前的主要研究内容进行了回顾。准则只强调了经验风险最小（训练误差），没有最小化置信1回归估计的支持向量机方法范围值，因此基于ERM准则的学习方法，其泛化能力较差。要最大化泛化能力，不仅需要最小化经验风险，而且应最小由统计学习理论知[1][2]，对于回归估计f，实际风险R(f)