正则化路径上的支持向量机贝叶斯模型平均

《正则化路径上的支持向量机贝叶斯模型平均》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第一章绪论本章概述研究背景、研究现状和论文主要工作。1．1研究背景统计学习理论(StatisticalLearningTheory)[1】是研究利用经验数据进行机器学习的一种一般理论，属于计算机科学、模式识别和应用统计学相交叉与结合的范畴，其主要创立者是VladimirN．Vapnik。顾名思义，统计机器学习应该是以统计学为工具来研究和设计及其学习算法的，但实际上，人工智能界目前所谈的统计机器学习是具有其特殊含义的。支持向量机(supportvectormachine，SVM)[2]是借助于最优化方法解决机器学习问题的新工具，是以解决有限样本机器学习为目标的统计学习理论基础上发展起来的一类重要

2、的学习方法。它由VladimirN．Vapnik及其合作者发明，在1992年计算机学习理论的会议上介绍进入机器学习领域，之后受到了广泛的关注。近年来在其理论研究和算法实现方面都取得了突破性进展，并成为克服“维数灾难”和“过学习”等传统困难的有力手段，使得SVM迅速发展和完善，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。SVM的理论体系涵盖的对象极为广泛，如对偶表示、特征空间、学习理论、优化理论和算法等。SVM在文本分类、手写识别、图像分类、生物信息学等领域中获得了比较好的应用。良好的泛化性能是支持向量机得到广泛应用的原因之一，支持

3、向量机的泛化性能依赖于超参数(惩罚参数或核参数)的选择。模型选择基于某个准则选择参数，常用的准则包括最小描述长度准则(theMinimumDescriptionLengthPrinciple)[3】、经验风险最小化(StructureRiskMinimization)[41、Akaike信息标准(theAkaikeInformationCriterion)【51、BIC信息标准(theBayesianInformationCriterions)[61、广义近似交叉验证【7】以及交叉验证[8】等。第一章绪论1．2研究现状支持向量机通过引入核函数，隐式地将数据从低维非线性输入空间转换到高维线性特征

4、空间，然后在高维空间中构造线性判别器实现对输入空间非线性数据的分类。一般认为支持向量机的最大优点是对问题模块化的解决方案，即把问题划分成核函数与分类器两个不同的模块，但这种优势只有在核函数及其参数确定的前提下才有意义。参数选择直接决定着支持向量机的训练效率和应用效果，这就引出了支持向量机的模型选择问题，这些参数主要包括正则化参数九以及核参数，一般统称为超参数。目前超参数的选择一般是通过最优化支持向量机泛化性能实现的。Chapelle等提出了SVM参数调节的一个规范模型和形式框架[9】，如Span界以及RM界(Radius-Marginbound)。为避免对Gram．Schmidt矩阵的求逆运算

5、，Kai．Min等提出了改进的RM界(ModifiedRadius-Marginbound)[10】。Ayat等根据经验误差提出了一种新的模型选择准则【ll】。基于经验误差的模型选择方法还包括交叉验证【12】以及Wahba的广义近似交叉验证[13]等。在支持向量机的概率框架下，Gold等通过最大化证据(Evidence)选择超参数[14】。正则化路径是另一类重要的参数调节方法[15】，凭借其突出的高效性获得了广泛的关注。Eft'on等最早给出Lasso的正则化路径算法[16】，Hastie等随后提出针对支持向量机二分类问题的正则化路径算法SVMpath[17】，Gunter等提出针对支持向量回

6、归问题的正则化路径算法【18】，Bach等给出多核学习正则化路径的计算方法【19】。Hastie等的SVMpath算法可在相当于一次SVM求解的复杂度内，得到所有的正则化参数以及对应的解路径。为了能够正确处理有重复样本、近似重复样本、或线性相关样本的数据集，Ong等在SVMpath的基础上提出一种改进的正则化路径算法ISVMP[20】。ISVMP算法的策略是使用一个线性规划问题(LP)求解下一个事件的正则化参数，但需要花费较大的计算时间。然而，上面讨论的方法用于选择单个模型，往往难以得到好的泛化性。所选出的模型依赖于训练数据集且只含有有限的信息，不能从理论上说明其优于别的模型，从而忽略了模型的

7、不确定性[2l】。模型组合方法整合候选模型集中的所有模型，能有效地提高支持向量机的泛化性能。因而，研究支持向量机的组合方法有着重要的意义。Kim等讨论了支持向量的Bagging以及Boosting组合方2第一章绪论法【22】，实验显示这类方法有着良好的泛化性能【23】。然而，为得到个体学习器需反复训练支持向量机，需要较大的时间和空间复杂度，计算效率较低。1．3本文工作针对组合方法效率较低等问题，本