基于回归型支持向量机的数据建模方法研究

《基于回归型支持向量机的数据建模方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘嘤摘要支持向量机(SVM)是一种新的数掘建模方法。它以统计学习理论为基础，采用结构风险最小化准则，在最小化样本拟合误差的同时控制学习函数的复杂度，从而提高模型的推厂一能力。本文钊对川!J17聘支持阳龄机(sVR)算：法，从训练速度和推广能力两方嘶列其展丌探讨。在详细分析SVR算法及其属性的基础上，利用SVR具有稀疏性的性质，提出了一种基于核相似度数据约简的SVR启发式算法(KR—SVR)。陔算法利用非线性映射和核技巧将原始空帕J样本映射到高维特征空问，使样本特征空问更为鲜明，然后根据核相似度对样本进行取舍，存保证推广能力刁i受太大影响的同时缩小SVR求解规

2、模，从而提高学刊速度。多个数值雨数仍真结果验in：了KR．SVR算法的可行性。为进一步提高SVR训练速度，本文还利用数学规划中的光滑函数提出了一种基于logistic损失函数的e不敏感光滑SVR算法(L，￡一SSVR)。它将原始SVR中的带约束二次规划问题改造成不带约束的最小化川越，ji：J

3、J拟个顿法实现求解，减少了求解变量个数，并H简化了传统．i!欠规划tII—lessian刖i1：的上耋贸，仃省了求解时间。数值函数和实际成¨II例r的仿真结果¨样表l刿I．e—SSVR钟：浊可行。针对SVR参数(核参数、惩罚因予以及e不敏感系数)对模型推广能力影响较大，

4、而目前又无解析方法指导SVR参数选取的问题，本文提⋯了‘种基于粒子群优化(PSO)算法的SVR参数选择方法。该方法将SVR参数集当作粒子群，以最小化5-fold交叉验证误差作为适庸}I标，利用PSO强劲的全埘搜索能力实现了参数优选。数值函数和实际应刚例Ji表『!『!J该坊+法刈模型推广能力的提高具有很大的作用。本文最后针对现有模型选择标准无法对模型选择过程给¨；I=!j；

5、确几何意义的问题，探讨了～种基于信息JL何的SVR模型选择标准。它将模型。跏IJ看作是‘个流形，将模型复杂度等价于其所能役黼的概率分曲，个数，梭，唑拟介度则视为样本真实分布同模型分枷的分散

6、发，⋯此，I!【脱地解释rSVR求晰过槲，并19j确了模型选择的JL何意义。关键词：数据建模、支持向量回归、核相似度、数搦约简、损失函数、光滑技巧、粒子群优化、信息几何、模型选择、押：广能力浮章^‘f顾”学位论文AbstractsupponVectorMachine(SVM)isanewdatamodelingmethod，theoreticallybasedonstatisticlearningtheory．Employingthecriteriaofstructuralriskminimization，whichminimizesthefittinger

7、rorsofthesample·dataandcontrolsimuhaneouslythecomplexityofthelearningfunction．，

8、．hus．theSVM’sgeneralizationisbetterthanothers．Inthispaper，highlightswerefbcusedonSupportVectorRegression(SVR)，andaseriesofworkonhowtoimprovetheSVR’sspeedandgeneralizationwasdiscussed．AfteranalyzingtheSV

9、Rindetail，aheuristicreducedSVRalgorithmwasproposedbasedonthecharacteristicofsolutionsparsenessandthekernelsimilaritymeasurement．Throughnonlinearmappingandket。11cItrick．thenewnrcthudmappcdtheoriginalspacesample～dataintoahighdimensionall色aturespace，andthenthefeaturesspacebecamecleare

10、r．Lotsofsimilardatawasdiscardedbasedonthekernelsimilaritymeasuremen!，andthesizeofsample—dataforSVRtrainingbecamesmall；thetrainingtimewasdecreasedgreatlywithoutcompromisingthegeneralizationcapability．SeveralnumericalsimulationsshowthatthisnewmethodwaseffectiveInordertospeeduptheSVRf

11、urther．asmoothingtechnique