大规模非线性支持向量机算法研究

《大规模非线性支持向量机算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大大大规规规模模模非非非线线线性性性支支支持持持向向向量量量机机机算算算法法法研研研究究究AStudyonLargeScalenonlinearSupportVectorMachines学科专业：软件工程作者姓名：李英达指导教师：谢宗霞副教授天津大学软件学院二零一七年十二月独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的，论文中不包含其他人已经发表研究成果，除了文中特别加以标注和致谢之处外位或或撰写过的研究成果，也不包含为获得天津大学或其他教育机构的学一证书而使用过的材料。与我同工作的同志对本研宄所做的任何贡献均已在论文中作了明确的说明并表

2、示了谢意。１月日学位论文作者签名签字日期：年／＂学位论文版权使用授权书本学位论文作者完全了解天津大学有关保留、使用学位论文的规定。特授权天津大学可以将学位论文的全部或部分内容编入有关数据库进行检索’并采用影印Ｅ描等复制手段保存、汇编以供查阅和借阅。同意学校向国、缩Ｐ或扫家有关部门或机构送交论文的复印件和磁盘。（保密的学位论文在解密后适用本授权说明）度、导师签名：学位论文作者签名：谢霞，私期：年）月日签字日期：年月＂日签字日／ｙ摘摘摘要要要支持向量机(SupportVectorMachine,SVM)是一种基于统计学理论发展而来的监督式机器学习算

3、法，由于其出色的学习性能，已经成为当前机器学习广泛关注的热点。它在解决小样本、非线性和高维模式识别问题时表现出许多特有的优势，并有效地克服过拟合等问题，从而被广泛应用于模式识别、回归分析、函数估计、时间序列预测等各个领域。但是，随着大数据时代海量数据的大量增加，如何高效地处理大规模非线性支持向量机模型，避免维数灾难成为研究的焦点。本文围绕如何处理大规模非线性支持向量机模型来进行算法理论改进与应用研究工作。首先，本文回顾了支持向量机基础理论以及算法的发展，从而引出本文的研究背景与意义，进而分析SVM算法在发展过程中所遇到的问题。其次，本文对支持向量机的两种模型分类和回归分别进行了阐述。并

4、且介绍了随机梯度下降(StochasticGradientDescent,SGD)算法与核函数在两种非线性支持向量机模型中的应用。最后我们提出了新的高效的改进算法来解决大规模非线性支持向量机。算法的改进分别从支持向量分类(SupportVectorClassification,SVC)和支持向量回归(SupportVectorRegression,SVR)算法展开。在大规模非线性SVC算法中，提出一种高效的基于核相似性的支持向量删减策略(SVsreducedStrategy,SRS)：在非线性SVC模型中的每一次SGD迭代中，如果一个样本被记录为支持向量，则核函数会计算该样本与支持向量集

5、合的核相似性，那么当核相似性大于设定的阈值时，SRS策略就会删减掉这个支持向量从而提高模型的效率。最后，SRS策略和其它的预算维护策略被结合起来进一步加速训练过程。在大规模非线性SVR算法中，我们将用于大规模非线性SVC的两种支持向量删减策略预算SGD和SRS方法分别扩展到非线性SVR模型中来处理大规模数据。SVC和SVR模型上不同算法的对比实验结果表明：本文在两种模型中提出的基于核相似性的SRS策略和预算SGD策略在能够取得具有竞争力的精度的同时，大幅度减少了模型的训练时间，在一定程度上解决了处理大规模非线性支持向量机的核灾难问题。关键词：支持向量分类，支持向量回归，随机梯度下降，核

6、相似性，预算维护策略IABSTRACTSupportvectormachine(SVM)isasupervisedmachinelearningalgorithmbasedonstatisticaltheory.Duetoitsexcellentlearningperformance,SVMhasbecomethefocusofmachinelearningrecently.Ithasmanyuniqueadvantagesinsolvingsmallsample,nonlinearandhighdimensionalpatternrecognitionproblems,andeffec

7、tivelyovercomesoverfittingproblems,soitiswidelyusedinpatternrecognition,regressionanalysis,functionestimation,timeseriesforecastingandotherfields.However,withtheincreaseofmassivedatacausedbytheeraofbigdata,howtodealwithlargesc