支持向量机参数优化问题的研究

《支持向量机参数优化问题的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文支持向量机参数优化问题的研究RESEARCHONPARAMETEROPTIMIZATIONOFSUPPORTVECTORMACHINE胡俊哈尔滨工业大学2009年6月国内图书分类号：O234国际图书分类号：517.93学校代码：10213密级：公开理学硕士学位论文支持向量机参数优化问题的研究硕士研究生：胡俊导师：薛小平教授申请学位：理学硕士学科：基础数学所在单位：数学系答辩日期：2009年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:O234U.D.C:517.93DissertationfortheMasterDegreeinScienceRESEA

2、RCHONPARAMETEROPTIMIZATIONOFSUPPORTVECTORMACHINECandidate:Supervisor:AcademicDegreeAppliedfor:Speciality:Affiliation:DateofDefence:Degree-Conferring-Institution:HuJunProf.XueXiaopingMasterofScienceBasicMathematicsDepartmentofMathematicsJune,2009HarbinInstituteofTechnology哈尔滨工业大学理学硕士学位论文摘要作为数据挖掘

3、中的一项新技术，支持向量机是在统计学习理论基础上发展起来的一种性能优良的新型机器学习方法。它被认为是机器学习领域非常流行的方法和成功的例子。当支持向量机应用于实际问题时，首先面临的是模型参数的选择，包括支持向量机中的参数选择和核函数参数选择。参数的选择直接决定着支持向量机的训练效率和应用效果，因此如何选择参数是应用支持向量机的主要问题。本文以优化理论为基础，以数学规划为手段，对支持向量机在实际应用中的参数优化问题进行研究。主要分成以下三个部分：第一部分，在统计学习理论基础下分析了支持向量机和模糊一类支持向量机的基本模型和算法，并结合结构风险最小化理论，分析了模型中核参数和惩罚参数对分类机

4、性能产生的影响。第二部分，针对支持向量机中的参数优化问题，本文从不同角度出发对惩罚参数和核参数采用不同的优化更新规则。首先定义分离指标用以描述给定数据集的样本间的分离关系，从而建立以核参数为变量的无约束优化问题；然后将核函数参数的最优值代入到支持向量机中，从分类机的推广性能出发建立一个以惩罚参数为变量的有约束优化问题；最后采用遗传算法求解优化问题，与网格法的对比数值实验验证了本文方法的有效性。第三部分，针对模糊一类支持向量机模型，本文首先从理论上解释了惩罚参数的物理意义，给出其取值范围，并分析了支持向量机与模糊一类支持向量机的关系。然后基于遗传算法，分别建立以核参数为变量的无约束优化问题

5、和以惩罚参数为变量的有约束优化问题来确定最优参数值。数值实验的结果表明本文提出的参数优化方法的优越性。关键词：支持向量机；核参数；惩罚参数；模糊一类支持向量机；遗传算法I哈尔滨工业大学理学硕士学位论文AbstractAsatechniqueofdatamining,supportvectormachine(SVM),whichisdevelopedontheframeofthestatisticallearningtheory,hasbeenanewexcellentmachinelearningmethod.SVMhasbeenconsideredasanextraordinarily

6、popularmethodandsuccessfulexampleinthefieldofmachinelearning.Whenit’sappliedtopracticalapplications,thefirstproblemconfrontedisthechoiceofmodelparameters,includingpenaltyparameterandkernelparameters.Thechoiceofparameters,whichdirectlydeterminethetrainingefficiencyandperformance,isthekeyfactorinth

7、eapplicationofSVMdirectly.Inthispaper,thechoiceoftheparameterselectionareconsideredbyusingtheoptimizationandmathematicalprogrammingmethods.Themaincontentsaredividedintothefollowingthreeparts:Inthefirstpart,basicmodelsa