大间隔分类学习研究现状

《大间隔分类学习研究现状》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、大间隔分类学习研究现状摘要：在机器学习领域屮，间隔扮演着重要的角色。可以用来度量分类的置信度；其理论泛化界也可用于指导分类算法的设计。近年来，该理论己广泛应用于特征选择，分类器训练和集成学习。实际上，间隔思想表明如果在训练阶段模型能够产生大的间隔，那么分类任务将有好的置信度和高可靠性。文中介绍大间隔分类学习方法的研究现状，并给岀了莫存在的问题。关键词：间隔；分类学习；机器学习中图分类号：TP39141文献标识码：A文章编号：2095-2163(2013)06-0044-040引言在机器学习领域中，间隔扮演着重耍的如色，可以用来度量分类器的置信度而其理论泛化界也可用于指导分类算法的

2、设计。该理论己经广泛应用于特征选择、分类器构建、集成学习等领域。间隔的概念由Vapnik首次提出，并将其应用于构建支持向量机(SupportVectorMachine)[l]o支持向量机利用最大分类间隔来实现线性分类任务。1999年，Friedman指出间隔分布是用来指导分类集成学习构造稳定模型的重要度量[2]。随着间隔的泛化界的提出，从统计学习理论上解释了最大分类间隔实际意义。实际上，间隔思想表明如果在训练阶段模型能够产生大的间隔，那么分类任务将有好的置信度和高可靠性。在过去的十几年中，该理论在模式识别和机器学习领域引起了高度关注。本文首先从特征选择、SVM分类器的构建和分类集

3、成学习三个方法来阐述基于间隔方法的研究现状。在此基础上，给出了基于间隔分类学习屮存在的问题并探讨其未来发展方向。1基于间隔的特征选择方法的研究现状近年來在机器学习领域，间隔作为代表性的特征评估策略之一已成为研究热点。间隔概念首次是由Vapnik提出为了构建SVM模型，这是用最大化类间的分类间隔來寻找最优可分超平面。1999年，ShaweTaylor和Cristianini在统计学习理论层面上证明了SVM中分类间隔是与其泛化误差的上界是紧密相关的［3］。2002年，Crammer等人讨论了Adaboost算法中的分类泛化误差，并指出其VC维与基分类器间的间隔分布相关，从而将间隔理论

4、进一步推广到集成学习范畴［4］。2004年，GiladBachrach等人开发了两种基于间隔特征选择方法，并通过大间隔理论证明了这两种方法的最近邻无限样木泛化界［5］。因此，从统计学习理论如度来看，分类间隔可认为是一种用于衡量分类置信度的距离测度。近年来，大量基于间隔的特征选择方法止在相继不断地提出。根据其构造方式不同，间隔可分为两类。一类称之为样本间隔(SampleMargin),用于度量样本到分类边界的距离；另一类假设间隔(HypothesisMargin)则用来度量假设类别的距离。研究中，可以将基于间隔的特征选择方法大体分为三类。第一类是通过直接最大化间隔来进行特征选择,如

5、Relief［6］>Simba［5］等等。第二类是通过最小化分类间隔损失来获得搜索特征子集最佳的解决方案。2004年，Andrew等人提出了两种基于Logistic损失的特征选择方法并应用于SVM[7],其间分别采用了L1范数和L2范数正则化技术；实验结果显示使用L1范数正则化方法相对而言是比较冇效的。2008年，Park等人提出了一种快速的特征选择方法[8],可利用Logistic损失来光滑近似Hinge损失并应用于支持向量机。2009年，Li等人提出了一种基于近邻规则的特征选择方法[9]。最后一类是利用间隔分类器的启发式的特征选择方法，其中最具代表性的当属SVM-RFE等算法

6、。这三类方法中，第一和第二类方法是基于Filter模型的方法，而且均是独立于分类器的评估特征方法并且执行效率较高；但第三类方法的计算时间复杂性较高，从而限制其实用性。2基于间隔的分类学习算法的研究现状至今为止，支持向量机(SVM)作为大间隔的分类学习模型在机器学习领域备受关注。SVM的思想是要找到一个线性可分超平面，并使用最大间隔来正确地区分二类训练数据，如此即可有效地减少对测试样木分类错误的风险。这种SVM可将其称作硬间隔SVM。但是在训练阶段搜索最优超平面时，由于可分边界附近一些错分样本的影响，原有硬间隔SVM中最大间隔的原则将失效。为了解决上述问题，软间隔SVM利用松散阈值

7、来得到一个近似线性可分超平面，实现了最大化间隔并最小化松散阈值的和来最优化学习模型的参数。对于线性不可分问题，核函数(KemalFunction)己经引入到SVM模型构建中并获得巨大成功。基于核函数映射的SVM是将原有的数据映射到一个高维特征空间中，并在其上构造最优分类超平面。随着支持向量机研究的深入，对于训练抗噪声的SVM学习模型展开了广泛的讨论。1999年，LS-SVM获得提出［10］,可利用平方Hinge损失来替换软间隔SVM屮的Hinge损失来训练SVM。但在统计学习理论