欢迎来到天天文库
浏览记录
ID:517911
大小:25.00 KB
页数:5页
时间:2017-08-21
《支持向量机在数据挖掘中的应用研究》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库。
1、支持向量机在数据挖掘中的应用研究-结构综合资料摘要:支持向量机(SupportVectorMachine,SVM)是数据挖掘和机器学习中的一个很有效的工具。结合支持向量机在数据挖掘和机器学习中的应用,介绍了支持向量机的基本原理,发展方向及其研究热点。关键词:支持向量机;数据挖掘;机器学习1SVM的提出和基本思想支持向量机是Vapnik等人提出的,在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势,已应用于手写体识别、三维目标识别、人脸识别、文本图像分类等实际问题中,性能优于已有的学习方法,表现出良好的学习能力。它是从线性可分情况下的线性分类面发展而来的,接着利用核函数很好
2、的解决了非线性可分情况。2支持向量机的几个发展(1)模糊支持向量机,引入样本对类别的隶属度函数,这样每个样本对于类别的影响是不同的,这种理论的应用提高了SVM的抗噪声的能力,尤其适合在未能完全揭示输入样本特性的情况下。(2)最小二乘支持向量机。这种方法是在1999年提出,经过这几年的发展,已经应用要很多相关的领域。研究的问题已经推广到:对于大规模数据集的处理;处理数据的鲁棒性;参数调节和选择问题;训练和仿真。(3)加权支持向量机(有偏样本的加权,有偏风险加权)。(4)主动学习的支持向量机。主动学习在学习过程中可以根据学习进程,选择最有利于分类器性能的样本来进一步训练分类器,特能有效
3、地减少评价样本的数量。(5)粗糙集与支持向量机的结合。首先利用粗糙集理论对数据的属性进行约简,能在某种程度上减少支持向量机求解计算量。(6)基于决策树的支持向量机。对于多类问题,采用二岔树将药分类的样本集构造出一系列的两类问题,每个两类构造一个SVM。(7)分级聚类的支持向量机。基于分级聚类和决策树思想构建多类svm,使用分级聚类的方法,可以先把n-1个距离较近的类别结合起来,暂时看作一类,把剩下的一类作为单独的一类,用svm分类,分类后的下一步不再考虑这单独的一类,而只研究所合并的n-1类,再依次下去。(8)算法上的提高。Vapnik在1995年提出了一种称为“chunking”
4、的块算法,即如果删除矩阵中对应Lagrange乘数为0的行和列,将不会影响最终结果。Osuna提出了一种分解算法,应用于人脸识别领域。Joachims在1998年将Osuna提出的分解策略推广到解决大型SVM学习的算法。Platt于1998年提出了序贯最小优化每次的工作集中只有2个样本。(9)核函数的构造和参数的选择理论研究。基于各个不同的应用领域,可以构造不同的核函数,能够或多或少的引入领域知识。现在核函数广泛应用的类型有:多项式逼近、贝叶斯分类器、径向机函数、多层感知器。参数的选择现在利用交叉验证的方法来确认。(10)支持向量机从两类问题向多类问题的推广。Weston在1998
5、年提出的多类算法为代表。在经典svm理论的基础上,直接在目标函数上进行改进,重新构造多值分类模型,建立k分类支持向量机。通过sv方法对新模型的目标函数进行优化,实现多值分类。一对多(one-against-rest)——Vapnik提出的,k类——k个分类器,第m个分类器将第m类与其余的类分开,也就是说将第m类重新标号为1,其他类标号为-1。完成这个过程需要计算k个二次规划,根据标号将每个样本分开,最后输出的是两类分类器输出为最大的那一类。不足:容易产生属于多类别的点(多个1)和没有被分类的点(标号均为-1)——不对,训练样本数据大,训练困难,推广误差无界。层(数分类方法),是对一
6、对一方法的改进,将k个分类合并为两个大类,每个大类里面再分成两个子类,如此下去,直到最基本的k个分类,这样形成不同的层次,每个层次都用svm来进行分类——1对r-1法,构建k-1个分类器,不存在拒绝分类区。3主要研究热点从上面的发展中,我们可以总结出,目前支持向量机有着几方面的研究热点:核函数的构造和参数的选择;支持向量机从两类问题向多类问题的推广;更多的应用领域的推广;与目前其它机器学习方法的融合;与数据预处理(样本的重要度、属性的重要度、特征选择等)方法的结合。参考文献[1]张学工.统计学习理论的本质[M].北京:清华大学出版社,2000.[2]NelloCristiani
7、ni,JohnShawe-Taylor.支持向量机导论[M].北京:电子工业出版社,2004.
此文档下载收益归作者所有