试论支持向量机学习算法研究

《试论支持向量机学习算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、哈尔滨工程大学博士学位论文支持向量机学习算法研究姓名：李忠伟申请学位级别：博士专业：计算机应用技术指导教师：张健沛20060101摘要统计学习理论中的支持向量机方法具有全局最优、结构简单、推广能力强等优点，是Et前机器学习和模式识别领域的研究热点之一。但是，支持向量机方法自身的复杂性成为其处理大规模数据时的“瓶颈”问题。本文针对支持向量机的时间复杂度和空间复杂度等问题，分别就支持向量机的快速学习和增量学习问题方面进行了研究。本文研究工作主要围绕以下几个方面进行：首先概述了本文研究内容的基础——统计学习理论与支持向量机方法，描述并比较了目前研究与应用较多的几种变形算法，为本文后续的研究方向与内

2、容进行了铺垫。提出了启发式支持向量机快速学习方法。借鉴主动学习的思想，利用支持向量的几何特点，提出选择支持向量的启发式规则；以启发式规则和内积矩阵分解算法为基础，进行对样本的启发式训练和快速分类。前者尽可能地选择了对分类器最有利的样本进行训练，提高了训练速度和训练精度；后者则在保证了分类精度不损失的前提下，提高了分类速度。提出一种支持向量机的渐进增量学习算法；研究了支持向量机在处理大规模数据时的增量学习方法和策略，分析了基于分块法和基于KKT条件的代表算法的特点和不足；利用由初始的分类器确定的KKT条件来选择一部分增量样本进行训练，有效地降低了对样本训练所需要的时间，并避免了增量样本分布对初

3、始学习结果的影响，提高了增量学习的精度。提出了一种基于多支持向量机分类器的并行学习算法。考虑到样本集的分布对分类器性能的影响，通过距离阈值选择一定数量的样本作为必要的反馈，构成循环式的反馈以更新分类器，使各分类器的分类性能在全局最优。提出了一种改进的CascadeSVMs算法；分析了反馈产生的原因及方式，提出以交叉反馈的方式来缩短CascadeSVMs算法中逐层合并支持向量集产生反馈的时间，在保证分类器的分类性能的同时，缩短了更新分类器需要的时间。将支持向量机方法应用于虚拟企业伙伴决策问题中。针对常规虚拟企业袷尔滨工程大举博士学位论文钛l拳决繁爨法在鼗拌众j歉数量袋多辩褥要进{亍大爨计冀静缺

4、点，聪题支持淘耋瓤穷浚对软释鑫：盈遴行分类，戆选窿潢是会佟黎l孛的铰髂盒簸作为鬻蔑决策葵法懿锻入，撼凑了纛接金鼗姣黪决策毂效率。关键溺：授潞学习；统计学习毽论；支持怒爨橇；分类；纛搬企整使传选择支持向量机学习算法研究AbstractSuppoaVectorMachine(SVM)hassomeadvantages，suchassimplestructureandgoodgeneralization,whichisoneimplementationinStatisticalLearningTheory．IthasbeenappliedtomanypaRemrecognitionandmachi

5、nelearningfieldssuccessfullyandbecomeapopularongoingresearcharea．However,itsneedforcomplexityofcomputationandstoragerequirementsisthebottle—necktodealwimlarge—scaledata．ToovercomethedisadvantagesofSVMintrainingspeedandprecision，someresearchesarecarriedoutaimedatfastlearningandincrementallearningbas

6、edonSVM．Theresearchesincludedinthethesiscarlbesummarizedasfollows：ThebasicconceptsofStatisticalLearningTheoryandSVMaresummarizedfirstly．SomealgorithmsofSVMaredescribedandcompared，whicharethegroundworkofnextresearchworks．AheuristicfastlearningalgorithmofSVMispresented．Heuristicrulesabouthowtoselects

7、amplesassupportvectoralepresentedaccordingtogeometriccharactersonthebasisofSVMalgorithmsandrelatedcombinedmethods．Byusingtheideasofactivelearning，samplesaletrainedwi血heuristicrulesandclassifiedwithinnerprod