半监督支持向量机综述

《半监督支持向量机综述》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、半监督支持向量机综述年素磊(南京大学计算机科学与技术系,南京210093)Semi-supervisedSupportVectorMachinesSurvey*Su-LeiNian(DepartmentofComputerScienceandTechnology,NanjingUniversity,Nanjing210093,China)Abstract:SupportvectormachineasamachinelearningmethodaimedatsmallsamplesisdevelopedbyVapnikandothersinth

2、ebasisofstatisticallearningtheory.Ithasbeenwidelyresearchedandappliedforitsadvantageofstronggeneralizationabilityandconvenientforhighdimensiondataoperation.Thoughstandardsupportvectormachinebasedonsupervisedlearningcanresolvemanyactualproblemseffectively,ithavetolabelmassunla

3、beleddatainordertogetenoughtrainingsamples.Itmakesthesemethodscostlyandlowefficiency.Sosemi-supervisedsupportvectormachinesareproposedaccordingtotheactualrequirement.Overthepastdecade,manyimprovedversionsareproposedtosolveeverydifferentspecificproblemofsemi-supervisedsupportv

4、ectormachines,forexample:totheinefficiencyissue,meanS3VMisintroduced;toperformancedegenerateproblem,S4VMisproposed;andtocostsensitiveissue,CS4VMemerges.Keywords:semi-supervisedsupportvectormachine;statisticallearningtheory;inefficiency;performancedegenerate;costsensitive摘要:支持

5、向量机是Vapnik等在统计学习理论基础上发展起来的针对小样本的机器学习方法。该方法由于具有较强的泛化能力、方便对高维数据操作而得到了日益广泛的研究和应用。标准的支持向量机是基于监督学习的，虽然能有效地解决各种实际问题，但需要手工对大量样本进行标记以获取足够的训练样本，代价高，效率低。因此根据实际需要研究人员又提出了半监督支持向量机。在过去的十年中，为了解决半监督支持向量机某一方面的特定问题，出现了很多改进版本，如针对半监督支持向量机效率低下的问题，提出了meanS3VM算法；针对利用无标记数据时会产生性能下降的问题，提出了S4VM算法；针对代价

6、敏感的问题，提出了CS4VM算法。关键词:半监督支持向量机;统计学习理论;低效;性能下降;代价敏感中图法分类号:TP301文献标识码:A1引言随着计算机在日常生活的广泛应用，各行各业都积累了大量的数据。如何快速、准确、方便地从海量的信息库中获取感兴趣、满足需要的信息，已成为人们亟待解决的问题。在各种复杂应用背景条件下，人工方作者简介:年素磊南京大学计算机系2011研究生2式不可能处理如此庞大的信息，机器学习方法就显得尤为重要。机器学习方法是从观测样本出发，寻找这些数据中蕴含的规律，利用这些规律对未知数据或者无法观测的数据进行预测。但真实应用中收

7、集到的观测样本大多是没有类别标记的，因为对样本进行类别标记往往需要耗费大量的人力物力。显然，如果只使用少量的有标记样本进行训练，一方面利用它们所训练出的学习系统往往很难具有强泛化能力；另一方面，如果只使用少量“昂贵的”有标记的样本，而不利用大量“廉价的”无标记样本，也是对数据资源的一种极大的浪费。因此，在有标记样本较少时，如何使用大量无标记样本来改善学习性能已成为人们关注的问题，半监督学习算法正是为了解决这一问题而提出的。支持向量机是20世纪90年代以后逐步发展起来的一种基于统计学习理论的机器学习方法，坚实的理论基础使其成功地解决了机器学习中普遍

8、存在的“维数灾难”和“过学习”问题，并具有良好的推广能力，已经在许多实际工程领域中展示了良好的应用前景。但标准的支持向量机算法都为监督学