基于驱动错误准则SVM增量学习探究.doc

《基于驱动错误准则SVM增量学习探究.doc》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于驱动错误准则SVM增量学习探究摘要：增量学习广泛运用于人工智能、模式识别等诸多领域，是解决系统在训练初期样本量少而随时间推移性能降低的有效方法。本文针对经典支持向量机当训练样本数量多而运算速度较慢的缺点，在分析支持向量机的基础上，提出基于驱动错误准则的增量学习方法，实验结果表明，该算法不仅能保证学习机器的精度和良好的推广能力，而且算法的学习速度比经典的SVM算法快，可以进行增量学习。关键词：机器学习；驱动错误准则；SVM；增量学习中图分类号：TP391文献标识码：AResearchofIncrementalLearningA

2、lgorithmBasedonDriveErrorCriterionWENBo,SHANGanlin,DUANXiusheng(Dept・ofOpticalandElectronicEngineering,OrdnaneeEngineeringCollegeShijiazhuangHebei050003,China)Abstract：Incrementallearningiswidelyusedinartificialintelligence,patternrecognitionandotherfields・Itisaneffe

3、ctivemethodtosolvetheproblemthattheefficiencyofthesystemdeclinesintheprocessofstudyingtrainingsampleswhichisofasmallnumberinthebeginning・Forthedisadvantageoftheclassicalsupportvectormachinegettingslowerwhenthenumberoftrainingsamplesgetslarger,thisthesisproposesanincr

4、ementallearningalgorithmbasedonDriveerrorcriterion.Theexperimentalresultsshowthatthisalgorithmnotonlyguaranteestheprecisionandgoodgeneralizationabilityofthelearningmachine,butalsofasterthantheclassicSVMalgorithm.Therefore,itcanbeusedinincrementallearning.Keywords:mac

5、hinelearning；driveerrorcriterion；SVM；incrementallearning1引言支持向量机（SVM）[1]是Vapnik等人在统计学习理论的基础上提出的一种普适学习机模型，具有强大的非线性处理能力和良好的推广能力，广泛应用于人工智能、模式识别等诸多领域，目前，SVM越来越受到广泛的重视，形成了国际上的研究热潮[2-3]。机器学习作为人工智能领域的基本问题，许多学习系统在学习初期所能获得的样本量较少，随着时间的推移与样本的不断累积，系统的工作效率降低，这时系统需纳入新增样本进行增量学习提升系统

6、的性能，标准的支持向量机没有增量学习的能力，但其定义的支持向量具有良好的增量学习效果。因此研究有效的支持向量机增量学习方法具有重要的意义[1]oSyed[4]对样本集的支持向量进行了分析，提出了一种简单支持向量机增量学习算法。在该算法中，增量训练由SV样本组成，再训练只需要进行一次即可完成，所有的非SV样本点都抛弃。这样减少了计算复杂度，但是忽略了历史样本集的非SV最终可能成为支持向量的问题。赵耀红[5]等人提出将违背Karush.Kuhn.Tucker(KKT)条件的样本和SV集一起训练的新算法，更能体现样本的分布状态对学习结

7、果的影响。该算法分别对样本和新增样本训练得到分类器Tl、T2和支持向量集SV1、SV2,在历史样本中找到违背T2的KKT条件的样本，加入到SV1、SV2-起训练得到最终分类器。该算法虽然比Syed的分类精度提高了2个百分点左右，但训练时间没有明显减少，需要占用大量内存空间，文献[6—8]中也分别介绍了几种SVM增量学习算法,文献[9]对SVM增量学习的研究进行了总结和分析。通过总结与归纳，这些算法都存在一个共同的特征即需要对过多的历史样本进行学习，需要大量的存储空间，直接影响到后继增量学习的效率。如何从历史样本集和新增样本集中提

8、取少而有价值的样本，而非全部样本进行训练，是个值得研究的问题。本文在上述研究的基础上，提出了基于错误驱动的增量学习算法。实验结果表明本文的算法不仅保证了学习机器的精度，而且显著地提高了学习的速度，具有良好的推广能力。2问题的描述2.1支持向量机及KKT条件[10