资源描述：
《核方法的探讨及其应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、人工智能及识别技术本栏目责任编辑:康一东核方法的探讨及其应用王小菊,李永华(西北师范大学数学与信息学院,甘肃兰州730070)摘要:核方法是机器学习中一种新的强有力的学习方法。针对核方法进行了探讨,给出了核方法的基本思想和优点。同时,描述了核方法的算法实现并举例进行了说明。关键词:核方法;支持向量机;核函数中图分类号:TP311文献标识码:A文章编号:1009-3044(2008)12-20524-03ResearchonKernelMethodanditsApplicationWANGXiao-ju,LIYong-hua(CollegeofMat
2、hematicsandInformationScience,NorthwestNormalUniversity.Lanzhou730070,China)Abstract:kernelmethodisanewpowerfullearningapproachinmanymachinelearningtasks.Inthispaper,kernelmethodisresearchedindetail,It’sfundamentalthoughtsandmeritsaregiven.Andit’salgorithmisdescribedbyusingsim
3、plexmethod.Keywords:kernelmethod;supportvectormachines;kernelfunction1引言经典统计理论在处理低维数据的分类和估计问题中作出了不平凡的贡献。但是,它是建立在大数定律基础上的一种渐近理论,它要求样本点的数目足够多,随着样本数目的增加需要呈指数地增加计算资源,这就导致了“维数灾难”。另外,还要求先假设样本服从某一具体的分布函数,然后利用样本数据对分布中的参数进行估计,从而得到分析的目的。但这种参数估计方法随着数据维数的增加,对样本点数目的要求呈指数增长。因此,面对大规模多变量的现代数据
4、分析问题,经典统计理论就暴露出这些缺点。在1992年,Vapnik教授对有限样本下的机器学习问题进行研究逐步形成了统计学习理论,并提出结构风险最小化准则,在此理论基础上提出支持向量机的概念。2支持向量机[1]支持向量机(SupportVectorMachines,SVM)是Vapnik等人提出的一种基于训练集的新型机器学习方法,它可以自动寻找出对学习结果有重要影响的支持向量,因此能够成功地处理分类问题,从而达到从大量数据中挖掘出有价值信息的目的,由于支持向量机出色的学习性能,它成为机器学习以及数据挖据算法的研究热点。处理分类问题的支持向量机称为支持
5、向量分类机,分类问题就是根据训练集建立分类模型,求解模型得决策函数,然后利用决策函数对未知类别的数据进行分类,支持向量分类机之所以能取得广泛而很好的分类效果,主要源于核函数的引进,按照函数的形式支持向量分类机模型分为两大类:一是线性支持向量分类机模型,二是非线性支持向量分类机模型。线性支持向量分类机模型简单,它所对应的决策函数是一个超平面,但它却完全体现了支持向量分类机的工作原理。本文用非线性支持向量分类机模型说明核方法是很重要的,并给出仿真实例来说明核方法的实现方式。3核函数核函数在支持向量机中是至关重要的。核函数的引入极大地提高了学习机器的非线
6、性处理能力,保持了学习机器在高维空间中的内在线性,使得学习容易得到控制。支持向量机通过使用核函数将原空间中的数据隐含地表示在高维特征空间中,训练了一个线性的分类器,训练过程不需要知道具体的非线性映射,核函数代替原空间中的内积,将输入空间的向量,通过一个非线性变换映射到某个高维特征空间中,然后在高维特征空间中进行线性分类,最后映射回到原空间就成为输入空间中的非线性分类,如图1所示。图1输入空间与高维特征空间之间的映射关系将输入向量x∈Rn映射到一个Hilbert空间,即:φ(x),φ(x),12⋯,φn(x),根据Hilbert-Schmidt理论,
7、Hilbert空间中的内积有一个等价表达式n="a1h1(x1)hl(x2)#K(x1,x2),ai≥0(1)i=1式中,K(x,x)[1]的对称函数,称为核函数。任意连续对称函数都可作为核函数,采用不同的核函数会导致不同12为满足Mercer定理的学习算法,然而核函数的选择至今没有一个完善的理论指导,目前使用的核函数主要有10多种,其中流行的核函数如下:dd次多项式为:K(x,xi)=(1+)收稿日期:2008-03-27作者简介:王小菊(1973-),女,山西晋城人,硕士研究生,研究方向:数据挖掘;李永华(1977-)
8、,男,甘肃陇南人,硕士研究生,研究方向:数据挖掘。524电脑知识与技术本栏目责任编辑:康一东人工智能及识别技术高斯径向基函
