一种基于支持向量机的半监督分类方法

《一种基于支持向量机的半监督分类方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第20卷．第lQ期计算机技术与发展Vo1．20NO．102010年l0月COMPUTERTECHNOLOGYANDDEVELOPMENTOct．20l0一种基于支持向量机的半监督分类方法徐庆伶，汪西莉(陕西师范大学计算机科学学院，陕西西安710062)摘要：如何有效利用海量的数据是当前机器学习面临的一个重要任务，传统的支持向量机是一种有监督的学习方法，需要大量有标记的样本进行训练，然而有标记样本的数量是十分有限的并且非常不易获取。结合Co—training算法与Tri—training算法的思想，给出了一种半监督SVM分类方法。该方法采用两个

2、不同参数的SVM分类器对无标记样本进行标记，选取置信度高的样本加入到已标记样本集中。理论分析和计算机仿真结果都表明，文中算法能有效利用大量的无标记样本，并且无标记样本的加入能有效提高分类的正确率。关键词：半监督学习；支持向量机；遗传算法中图分类号：TP181文献标识码：A文章编号：1673—629X(2010)10—0115—03ANovelSemi。-’SupervisedClassificationMethodBasedonSVMxuQing—ling，WANGXi—li(SchoolofComputerScience，ShaanxiNo

3、rmalUniversity，Xi’an710062，China)Abstract：Oneoftheimportantassignmentinmachinelearningishowtouselarge—scaledataeffectively，thetraditionalSVMisakindofsupervisedlearningapproach，itneedsanumberoflabeledsamplesfortraining，butthelabeledsamples&relimitedandverydifficulttoobtain．A

4、semi—supervisedSVMforclassificationisproposedbybindingthethoughtsofCo—trainingandTri—trainingtogether．ThismethodUSeStWOSVMclassifierswithdifferentparameterstolabeltheMabeledsamples，thenchoosesthesampleswithhighconfidenceleveltoextendthelabeledsample—set．Boththeoreticalanaly

5、sisandsimulationresultsindicatethatthismethodcanusealotofuMabeledsampleseffectively，andtheadditionofuNabeledsamplesCanimpmveclassificationaccuracyavailably．Keywords：semi—supervisedlearning；supportvectormaehine(SVM)；geneticalgorithm(GA)O引言统计学习理论和结构风险最小化原则之上，具有非常机器学习问题可以分为监督学

6、习和无监督学习两坚实的理论基础。而且该模型需要设定的参数相对较种，传统的非监督学习虽然算法成熟，操作简单，但其少，非常适合于小样本机器学习，目前已广泛应用于模学习效果往往很难得到保证；监督学习则需要大量的式识别的分类器设计中l-5'6J。文中将以协同训练(Co—training)模型为基础，构已标记的学习样本，在很多实际应用中，获取大量的无标记样本非常容易，而获取有标记的样本通常需要付建基于遗传算法(GA)优选参数的支持向量机(SVM)出较大的代价，新型半监督学习结合了监督学习与非的半监督分类方法。本方法既融合了半监督方法能有监督学习的优点，

7、适合于已标记样本较少，同时具有大效利用大量未标记样本的优点又具有SVM适用于进量未标记样本的分类问题【1,2J。按照Chapelle、~eeger、行小样本学习的特点，并且通过理论及实验分析，采用了半监督策略的支持向量机分类方法能够有效提高分Mitchell等人对半监督学习的分析，半监督学习问题主类精度。要有三种主要的技术：基于生成式的模型、基于图正则化框架的模型以及基于协同训练的模型[引。由V．Vapnik创立的支持向量机(SVM)l_4J建立在1基于支持向量机的分类支持向量机是建立在统计学习理论的VC维理论和结构风险最小化(SRM)原理基

8、础上的新型学习机收稿日期：2010—01—27：修回日期：2010—05一O8器，它是SRM原则的具体体现，更是整个统计学基金项目：国家自然科学基金(4067113