机器学习的新方法

《机器学习的新方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、计算机学习的新方法—支持向量机方法(SVM)（SupportVectorMachine）目录机器学习与SVM的基本思路支持向量机模式识别支持向量机回归SVM的应用及未来发展机器学习与SVM的基本思路计算机应用的历史回顾智能数据库数据挖掘••••••机器学习数值计算I知识处理III数据处理II模式识别回归分析•••关键词计算机学习（ComputerLearning)模式识别（分类Classification）函数估计（回归Regression）支持向量机（SVM）（SupportVectorMachines）统计学习理论实践认识应用认识个体1认识个体2认识个体3建立概念识别应用…………..

2、认识个体l人类的学习过程图示数据模型应用样本数据1样本数据2训练建模分类预测应用…………..样本数据l计算机学习过程图示x11,x12,…,x1n;y1x21,x22,…,x2n;y2yi=M(xi1,xi2,…,xin)………………xl1,xl2,…,xln;yl(Xi,yi)y=M(X)y*=M(X*)问题：1.模型是否存在？能否建立？2.模型有否推广能力？3.能否小样本建立？1.关于归纳推理Popper理论证伪性/经验正确性Kolmogorov渐进精确收敛速率Fisher应用统计方法2.有指导学习和无指导学习supervisedandunsupervisedlearning3.问题

3、的不适定性ill-posedproblem经验学习问题的困难计算机学习的不适定性不适定性的概念(ill-posedproblem)3x-2y=46x-4y=8利用有限数量的观测来寻求待求的依赖关系计算机学习的基本问题模式识别（分类）回归分析（回归）概率密度估计学习的直观描述训练样本集：(x1,y1),(x2,y2),……,(xl,yl)其中xi为N维向量，yi{-1,1}或{1,2,……,k}(聚类)yiR(回归)测试样本集：xl+1,xl+2,……,xm；求yiG:产生器,随机产生向量x∈Rn,F(x)未知S:训练器,对每一x∈Rn返回一输出值yLM:学习机器,可供选取的函数集f(

4、x,)基于训练,从给定的函数集f(x,),∈中选出最好逼近训练器响应的函数来GxSyLMy计算机学习的理论问题1.学习机的备选函数类f(x,)如何确定？2.依据什么原则选取最优函数f(x,0)？3.学习机随样本数据的增加是否收敛？若收敛，收敛速度如何？4.通过数据建立的学习机的泛化能力即推广能力如何？5.学习机的性能好坏如何评价？SVM的基本思想通常习惯于把样本降维（向低维空间做投影）化简问题，如计算两点间的引力X=(x1,x2,x3,y1,y2,y3,m1,m2,…)Z=(X)=(r,m1,m2)F(Z)=km1m2/r2SVM方法反其道而行之：把样本点“升维”，即把样本

5、集映射到高维甚至无穷维空间（特征空间），再在特征空间中解决问题。SVM的基本思想（续）通常习惯于采用线性化手段。（如取对数）SVM方法是在高维空间中采用处理线性问题的方法。映射是非线性的，从而解决样本空间中的高度非线性问题。特征空间中的线性解就对应着原来样本空间中的高度非线性解。SVM的基本思想（续）高维空间是一个诱人的广阔天地。很多在低维空间看似不可解决的问题，在高维空间中解决起来却易如反掌。如：在无穷维空间中，对于任意有限多个样本点，都可以找到一个超平面(线性函数)将它们完全拟合；对于任意有限多个两类样本点，都可以找到一个超平面(线性函数)将它们完全正确划分开。在无穷维空间中只需解决

6、线性分类和线性回归就足够了！SVM的基本思想（续）过平面上任意两点可以引一条直线。过三维空间任意三点可以做一个平面。………….过N维空间任意N个点可以做一个N-1维超平面。………….在无穷维空间中，任意N个点都会落在一个（不低于）N-1维超平面上。φ(x1,x2)=(x12,x1x2,x22)升维的图示非线性映射的图示特征空间样本空间非线性映射学习数据不同核参数下的分类图SVM的本质优点1.传统的统计方法只有在样本数趋向无穷大时其性能才有理论上的保证。对于应用中的有限样本难以取得理想的效果。SVM是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度的定义及大数定律等，因此

7、不同于现有的统计方法。从本质上看，它避开了从归纳到演绎的传统过程，实现了高效的从训练样本到测试样本的“转导推理”，大大简化了通常的分类和回归等问题。2.SVM的最终决策函数只由少数的支持向量所确定，计算的复杂性取决于支持向量的数目，而不是样本空间的维数，这在某种意义上避免了“维数灾”。如果说神经网络方法是对样本的所有因子加权的话，SVM方法是对只占样本集少数的支持向量样本“加权”。当测试因子与测试对象间蕴涵的复杂非线性关系尚不清楚时