小样本数据的支持向量机回归模型参数及预测区间研究

《小样本数据的支持向量机回归模型参数及预测区间研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第29卷第1期计量学报Vol.29,№12008年1月ACTAMETROLOGICASINICAJanuary,2008小样本数据的支持向量机回归模型参数及预测区间研究陈果,周伽(南京航空航天大学,江苏南京210016)摘要:支持向量机是由统计学习理论发展起来的机器学习算法,它从结构风险最小化的角度保证了模型的最大泛化能力。文中运用支持向量机进行小样本数据回归分析研究。首先利用推广性的界理论指导支持向量机回归模型参数的选取,以保证模型具有最大的推广能力;其次,运用基于正态分布和基于t分布的两种区间预测方法进行了预测值的区间估计;最后,利用模拟序列和真实的航空发动机油样光谱分析数据作为实

2、验数据,建立了支持向量机回归分析模型,并与最小二乘法进行了比较。结果表明,所提出的支持向量机模型参数选取和区间估计方法适用于小样本数据的回归分析,具有较高的预测精度。关键词:计量学;支持向量机;小样本;回归模型;预测精度;区间估计中图分类号:TB9文献标识码:A文章编号:100021158(2008)0120092205ResearchonParametersandForecastingIntervalofSupportVectorRegressionModeltoSmallSampleCHENGuo,ZHOUJia(NanjingUniversityofAeronauticsandA

3、stronautics,Nanjing,Jiangsu210016,China)Abstract:Supportvectormachineisanewmachinelearningmethodbasedonstatisticlearningtheory(SLT),itcanassurethemostgeneralizationonthefoundationofstructuralriskminimization.Thesmallsampledatamodeledwithsupportvectorregres2sion(SVR)isdescribed.Firstly,modelparam

4、etersarechosenaccordingtotheboundtheoryofgeneralizationperformanceinor2dertoassurethemostgeneralizationofregressionmodel;then,thetwoforecastingintervalmethodsareapplied,oneisbasedonnormaldistribution,theotherisbasedontdistribution;intheend,theSVRmodelisestablishedbyusingsimulateddataandtrueaero-

5、enginespectrometricoilanalysisdata,anditiscomparedwithleastsquaremethod.TheresultindicatedthattheparameterselectionandintervalestimationmethodofSVRregressionmodelhashighaccuracytoregressionanalysisofsmallsampledata.Keywords:Metrology;Supportvectormachine;Smallsample;Regressionanalysess;Forecasti

6、ng;Intervalestimation[1][2～4]统计学习理论(StatisticLearningTheory:SLT)比,往往具有更高的预测精度和预测效果。是一种专门研究小样本情况下机器学习规律的基本统计学习理论尽管从理论上得到了统计学习方理论和数学构架,也是小样本统计估计和预测学习法推广性的界的结论,但是推广性的界是对于最坏的最佳理论。它较好地解决了小样本、非线性、高维情况的结论,所给出的界在很多情况下是很松的,尤[1]其当VC维比较高时更是如此。而且推广的界由于数和局部极小点等实际问题。由Vapnik提出的基于结构风险最小的学习机器———支持向量机(Sup2函数VC维的计

7、算非常困难而无法实施,同时,支持portVectorMachine:SVM),从理论上保证了模型的最向量机回归模型的参数,如核函数及其相关参数、惩大泛化能力,因此基于支持向量机的回归分析和函罚因子C及损失函数ε等对模型的推广性具有很数拟合与最小二乘法、神经网络、灰色模型等模型相大影响。而实际的数据经常出现数据量少(20个以收稿日期:2005210224;修回日期:2005212215作者简介:陈果(1972-),男,四川武胜人,南京航空航天大学