支持向量机(svm)原理及应用概述

支持向量机(svm)原理及应用概述

ID:7868566

大小:170.50 KB

页数:13页

时间:2018-03-01

支持向量机(svm)原理及应用概述_第1页
支持向量机(svm)原理及应用概述_第2页
支持向量机(svm)原理及应用概述_第3页
支持向量机(svm)原理及应用概述_第4页
支持向量机(svm)原理及应用概述_第5页
资源描述:

《支持向量机(svm)原理及应用概述》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库

1、东北大学研究生考试试卷评分考试科目:信号处理的统计分析方法课程编号:09601513阅卷人:刘晓志考试日期:2012年11月07日姓名:赵亚楠学号:1001236注意事项1.考前研究生将上述项目填写清楚.2.字迹要清楚,保持卷面清洁.3.交卷时请将本试卷和题签一起上交.4.课程考试后二周内授课教师完成评卷工作,公共课成绩单与试卷交研究生院培养办公室,专业课成绩单与试卷交各学院,各学院把成绩单交研究生院培养办公室.东北大学研究生院培养办公室支持向量机(SVM)原理及应用目录一、SVM的产生与发展3二、支持向量机相关理论4(一)统计学习理论基础4(二)SVM原

2、理41.最优分类面和广义最优分类面52.SVM的非线性映射73.核函数8三、支持向量机的应用研究现状9(一)人脸检测、验证和识别10(二)说话人/语音识别10(三)文字/手写体识别11(四)图像处理11(五)其他应用研究12四、结论和讨论12支持向量机(SVM)原理及应用一、SVM的产生与发展自1995年Vapnik在统计学习理论的基础上提出SVM作为模式识别的新方法之后,SVM一直倍受关注。同年,Vapnik和Cortes提出软间隔(softmargin)SVM,通过引进松弛变量度量数据的误分类(分类出现错误时大于0),同时在目标函数中增加一个分量用来惩

3、罚非零松弛变量(即代价函数),SVM的寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程;1996年,Vapnik等人又提出支持向量回归(SupportVectorRegression,SVR)的方法用于解决拟合问题。SVR同SVM的出发点都是寻找最优超平面,但SVR的目的不是找到两种数据的分割平面,而是找到能准确预测数据分布的平面,两者最终都转换为最优化问题的求解;1998年,Weston等人根据SVM原理提出了用于解决多类分类的SVM方法(Multi-ClassSupportVectorMachines,Multi-SVM),通过将多类分类转化成二类

4、分类,将SVM应用于多分类问题的判断:此外,在SVM算法的基本框架下,研究者针对不同的方面提出了很多相关的改进算法。例如,Suykens提出的最小二乘支持向量机(LeastSquareSupportVectorMachine,LS—SVM)算法,Joachims等人提出的SVM-1ight,张学工提出的中心支持向量机(CentralSupportVectorMachine,CSVM),Scholkoph和Smola基于二次规划提出的v-SVM等。此后,台湾大学林智仁(LinChih-Jen)教授等对SVM的典型应用进行总结,并设计开发出较为完善的SVM工具

5、包,也就是LIBSVM(ALibraryforSupportVectorMachines)。上述改进模型中,v-SVM是一种软间隔分类器模型,其原理是通过引进参数v,来调整支持向量数占输入数据比例的下限,以及参数来度量超平面偏差,代替通常依靠经验选取的软间隔分类惩罚参数,改善分类效果;LS-SVM则是用等式约束代替传统SVM中的不等式约束,将求解QP问题变成解一组等式方程来提高算法效率;LIBSVM是一个通用的SVM软件包,可以解决分类、回归以及分布估计等问题,它提供常用的几种核函数可由用户选择,并且具有不平衡样本加权和多类分类等功能,此外,交叉验证(cr

6、ossvalidation)方法也是LIBSVM对核函数参数选取问题所做的一个突出贡献;SVM-1ight的特点则是通过引进缩水(shrinking)逐步简化QP问题,以及缓存(caching)技术降低迭代运算的计算代价来解决大规模样本条件下SVM学习的复杂性问题。二、支持向量机相关理论(一)统计学习理论基础与传统统计学理论相比,统计学习理论(Statisticallearningtheory或SLT)是一种专门研究小样本条件下机器学习规律的理论。该理论是针对小样本统计问题建立起的一套新型理论体系,在该体系下的统计推理规则不仅考虑了对渐近性能的要求,而且追

7、求在有限信息条件下得到最优结果。Vapnik等人从上世纪六、七十年代开始致力于该领域研究,直到九十年代中期,有限样本条件下的机器学习理论才逐渐成熟起来,形成了比较完善的理论体系——统计学习理论。统计学习理论的主要核心内容包括:(1)经验风险最小化准则下统计学习一致性条件;(2)这些条件下关于统计学习方法推广性的界的结论;(3)这些界的基础上建立的小样本归纳推理准则;(4)发现新的准则的实际方法(算法)。(二)SVM原理SVM方法是20世纪90年代初Vapnik等人根据统计学习理论提出的一种新的机器学习方法,它以结构风险最小化原则为理论基础,通过适当地选择函

8、数子集及该子集中的判别函数,使学习机器的实际风险达到最小,保证了通

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。