支持向量机的核选择

《支持向量机的核选择》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要由Vapnik等人提出的支持向量机(SupportVectorMachine，SⅧ)技术，由于具有极强的模型泛化能力，不会陷入局部极小点，以及很强的非线性处理能力等特点，近十年来取得了全面飞速的发展，获得了大量成功的应用，已成为模式识别中最为活跃的研究领域之一。当前，选择合适的核函数及其参数(核选择)已成为SVM进一步发展的关键点和难点。核函数决定了SVM的非线性处理能力，也决定着分类函数的构造，而对具体问题而言，选择合适的核函数及其参数，还存在着许多的实际困难。针对SVM中的核选择问题，本文对SVM的模型问题、特征空间线

2、性可分的结构问题、核学习中基核的选择问题、以及核函数及其参数的评判准则问题开展了深入的探讨，主要的工作有：1．在SVM的模型方面，给出了L2一范数下平分最近点原理问题；然后得到了它的解与最大间隔原理问题的解之间的关系，建立了它与最大间隔原理的等价性；指出它还具有模型性质更好、几何意义更直观、能利用求解凸包之间距离的内点算法等优点；最后给出了它的SMO(Sequentialminimaloptimization)求解算法。2．在特征空间线性可分的结构方面，利用平分最近点原理模型，通过对核矩阵零空间的深入分析，得出特征空间中样本线

3、性可分与核矩阵零空间关系的一个充要条件．3．在基核矩阵的选取方面，首先提出矩阵的秩空间差异性(RankSpaceDiversity，RSD)概念，其次将其作为基核矩阵的差异性度量，由此导出选择基核矩阵的一个定量规则“基核矩阵的秩空间差异性越大越好”。我们还给出了基于L2-范数下平分最近点原理的核学习模型和模型求解算法；最后通过实验验证了基核矩阵选择规则的有效性。4．在核函数及其参数的评判准则方面，首先从分类函数抗样本扰动的“泛化性能’’出发，分析了传统最大间隔原理的不足，提出了分类函数的鲁棒度概念；探讨了鲁棒度的性质：并提出用

4、最大鲁棒度作为核选择的评判准则；通过与经典的交叉验证方法和最小支持向量数方法的实验对比，表明最大鲁棒度准则克服了交叉验证方法时间代价高，最小支持向量数方法测试准确率不稳定的缺点，获得了很好的结果。5．在核学习方面，提出了按单属性设计基核，以最大鲁棒度为优化目标的核学习方法，给出了鲁棒度的梯度计算公式和模型的求解算法，并用实验表明了该方法的有效性和优越性。关键词：SVM；核选择；秩空间差异性；鲁棒度；平分最近点ⅡAbstractInthelasttenyearstherehavebeenverysignificantdevelo

5、pmentsinthetheoreticalunderstandingofSupportVectorMachines(SVMs)，proposedbyVapnikandothers，aswell硒algorithmicstrategiesforimplementingthem,andapplicationsoftheapproachtopracticalproblems．Nowadays，theselectionoftheSVM-kernel谢msuitableformandparameters(KernelSelection

6、)hasbecomeakey-po血bothintheoreticalresearchandapplicationconsideration．Infact,thenonlinearprocessingabilityofSVMandthestructureoftheseparatingfunctionarcbothlargelydecidedbythechoiceofindividualkernelfunction,andactuallytherearestillalotofdifficultiesonpractice．Asar

7、esearchworkfocusedonkemelselectionofSVM，thispaperhasmainlydiscussedthefollowingproblems：1．OnthemodelingofSVM，theprincipleofbisectingclosestpointsunderL2-normisfirstlyintroduced．Therelationbetweenthesolutionsbasedrespectivelyonthebisectingclosestpointsprincipleandthe

8、maximummarginprincipleisthendeduced，andtheequivalenceisestablishedonthesetwosolutions．Theadvantageofbisectingclosestpointsmethodisshowed，i