基于支持向量机的分类算法研究

《基于支持向量机的分类算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、东北电力大学硕士学位论文基于支持向量机的分类算法研究姓名：李小英申请学位级别：硕士专业：检测技术与自动化装置指导教师：门洪20080301摘要摘要传统的模式识别方法在处理问题时通常需要建立准确的数学模型，而且在解决菲线性问题时很难有好的表现。许多传统统计学习方法都将基于样本数目趋于无穷大时的渐近理论作为假设，这些方法在实际应用中，往往表现不尽人意。支持向量机在解决建立模型难，维数灾难方面有很好表现，并且存小样本数据中有良好应用。正在成为继模式识别和神经网络研究之后机器学习领域新的研究热点。本文在统计学习理论基础上深

2、入探讨了支持向量机算法及其在分类中的应用。分类实验分三组进行，选择多项式和径向基两种核函数的支持向量机进行分类仿真实验研究。在分类实验中，我们发现支持向量的数量远远小于样本数，这为我们解决大规模数据问题提供了方法。将训练样本集分解成若干个小子集，按顺序对各子集逐个训练学习，避免了大规模数据计算的麻烦。实验中采用不同规模的训练样本集，从结果发现对于训练样本较少的数据集，采用结构简单的学习函数会避免出现过学习现象；相反对于训练样本较多的数据集，采用结构简单的学习函数，会降低机器学习的推广能力。在实验中引进惩罚因子C，允

3、许训练时错分样本的存在，适当增大C的值，可以提高学习机的推广能力。支持向量机在寻求最优分类面的过程中，只涉及到内积运算，避免了维数灾难问题。由于在中等规模数据中，支持向量机的参数会影响到分类结果，为了得到最佳的分类精度，我们采用交叉验证方法选择参数值，结果表明，交叉验证法选择参数提高了实验的平均测试准确率。最后，把实验仿真结果和神经网络算法结果相比较，结果表明支持向量机分类算法优于神经网络算法。关键词：支持向量机；模式识另q；统计学理论；神经网络东北电力大学硕上学位论文AbstractThetraditionalp

4、atternrecognitionmethodsdealwiththeissuewimtheaccuratemodel．Itisalsodifficulttohaveagoodshowingagainstthenon—linearproblem．Thetraditionalstatisticallearningtheoryisasymptotictheorybasedonthenumberofthesampletendingtoinfinity．Practicalapplicationsofthesemethods

5、areoftenunsatisfactory．Thesupportvectormachineshavegooddisplaysinsolvingmodelingandthedimensiondisaster．Ithasalsothegoodapplicationinthesmallsamples。Itisbecominganewhotspotinthemachinelearningdomain．Thisthesisdiscussestheprincipleofthesupportvectormachineandit

6、sapplicationinclassification．Theexperimentsaredividedintothreegroupsandtwokindsofsupportvectormachinesforpolynomialkernelandradialbasisfunctionalechosentoexperimentbychangingtheparametervalues．Intheclassificationexperiment，wefindthatthenumberofthesupportvector

7、isfarlessthanthenumberofthetrainingsamplenumber．Thisprovidesthemethodforustosolvethelarge·scaledataproblembydividingtrainsamplesintoseveralsmallsubsetsandsequentiallytrainingsubsetsonebyone．Differentsizetrainingsamplesarechosenintheexperiments．Theresultsshowth

8、at，basedonstructuralriskminimizationprinciple，thelesstrainingsamples，usingsimplestructurelearningfunction，willbetoavoidaoverfittingphenomenon．Contrarytomoretrainingsamples，slightly