双LSSVM的增量学习和稀疏算法研究

《双LSSVM的增量学习和稀疏算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文｜＿參双ＬＳＳＶＭ的增量学习和稀疏算法研究圓作者姓名ｇＬ姚丹１＾１＾Ｍ指导教师姓名、职称周水生教授Ｂｓｌ申请学位类别理学硕士学校代码10701学号1507122434分类号TP181密级公开西安电子科技大学硕士学位论文双LSSVM的增量学习和稀疏算法研究作者姓名：姚丹一级学科：数学二级学科：应用数学学位类别：理学硕士指导教师姓名、职称：周水生教授学院：数学与统计学院提交日期：2018年6月TwinLSSVMincrementallearningandSparsealgorithmresearchAthesissu

2、bmittedtoXIDIANUNIVERSITYinpartialfulfillmentoftherequirementsforthedegreeofMasterinAppliedMathematicsByYaoDanSupervisor:ZhouShuishengTitle:ProfessorJune2018摘要摘要最小二乘双支持向量机(双LSSVM)是双支持向量机(TSVM)的一种变形，被广泛的应用于分类与回归问题中。与TSVM解二次规划问题相比，LSSVM可转化为解一组线性方程组，从而提高了训练速度，但是失去了解的稀疏性，导致测试速度变慢，不适用于

3、大规模数据集，所以稀疏化双LSSVM成了重中之重。本文主要是在双LSSVM的基础上提出两种改进方法：增量学习算法和稀疏化算法，主要工作包括以下两个方面。一方面，针对在求解双LSSVM目标函数时会出现对非满秩矩阵求逆的问题，本文提出改进的双LSSVM（双ILSSVM），即利用经验风险最小化原则避免病态解的产生。在训练过程中，利用Sherman-Morrison定理对矩阵的逆进行分解，然后重组矩阵的逆，得到一种结构相对简单、计算量小的迭代求解算法，又因为增量学习降低了对时间和空间的需求，所以本文提出基于Sherman-Morrison定理和增量学习的双ILSS

4、VM算法，即SMI-双ILSSVM算法。该方法通过选取不同样本子集大小k来控制测试准确率和训练时间随迭代次数的变化情况。最后通过UCI数据集上的实验表明，本文提出的SMI-ILSTSVM增量学习算法能够实现高精度和高效率的分类效果，而且适合于含有噪声的交叉样本集分类。另一方面，基于去除特征空间中近似线性相关的一些向量的方法，即通过约减训练样本的方法消除分类判别函数中近似线性相关的一些分量。又因为利用表示定理可推导求解得到判别函数的稀疏表示，所以本文提出一种稀疏化最小二乘双支持向量机分类算法，即S-双LSSVM。该方法可通过控制稀疏程度的参数的不同取值来控

5、制算法的测试精度，当取值为1.0e1时，各数据集已经能够达到或接近最好的分类精度。最后通过线性分类和非线性分类的实验说明算法S-双LSSVM的有效性。关键词：最小二乘双支持向量机，稀疏，增量学习，近似线性相关IABSTRACTABSTRACTLeastsquaretwinsupportvectormachine(LSTSVM)isavariantoftwinsupportvectormachine(TSVM),whichiswidelyusedinclassificationandregressionproblems.Insolvingquadrati

6、cprogrammingproblem,LSTSVMcanbetransformedintoasolutionofthelinearequationscomparedtoTSVM.LSTSVMimprovesthetrainingspeed,butlosesitssparseness,resultinginslowtestspeed.LSTSVMisnotsuitableforlarge-scaledatasets,thusit’simportanttosparsethesolutionofit.ThispaperismainlybasedontheLST

7、SVMputforwardtwoimprovedincrementallearningalgorithmandsparsealgorithm,themainworkofthispaperincludestwoaspectsasfollow.Ontheonehand,inordertosolvetheproblemofsolvingthenon-fullrankmatrixwhensolvingthetwinLSSVMobjectivefunction,thispaperproposesanimprovedtwinLSSVM(ILSTSVM),whichus

8、estheprincipleofminimizingempiric