SVM分类与回归简介.ppt

《SVM分类与回归简介.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、支持向量机分类与回归2013年7月支持向量回归机松弛变量、核函数与特征映射支持向量机-线性分类器机器学习问题简介目录31234总结5什么是机器学习？机器学习(MachineLearning)是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。Alpaydin（2004）同时提出自己对机器学习的定义，“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。一个有趣的例子机器学习问题简介机器学习就是从给定的函数集f(x,)(

2、是参数)中,选择出能够最好地逼近训练器响应的函数。机器学习的目的可以形式化地表示为：根据n个独立同分布的观测样本，在一组函数中求出一个最优函数对训练器的响应进行估计,使期望风险最小其中是未知的,对于不同类型的机器学习问题有不同形式的损失函数。机器学习问题简介模式识别令训练器的输出y只有两种取值，并令为指示函数集合（指示函数只有0和1两种取值），考虑下面的损失函数：我们把指示函数给出的答案与训练器输出不同的情况叫做分类错误，这样学习问题就变成了寻找使损失函数最小的问题。机器学习问题简介回归估计令训练器的输出y为实数值，并令为实数集，回归函数就是在损失函数最小化的函数估

3、计密度估计密度估计就是从密度函数集中估计密度函数的问题机器学习问题简介支持向量机（SupportVectorMachine,SVM）1963年，Vapnik在解决模式识别问题时提出了支持向量方法,这种方法从训练集中选择一组特征子集,使得对特征子集的划分等价于对整个数据集的划分,这组特征子集就被称为支持向量(SV)。1971年，Kimeldorf提出使用线性不等约束重新构造SV的核空间,解决了一部分线性不可分问题。1990年，Grace,Boser和Vapnik等人开始对SVM进行研究。1995年，Vapnik正式提出统计学习理论。支持向量机-线性分类SVM从线性可分

4、情况下的最优分类面发展而来。最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0),且使分类间隔最大。SVM考虑寻找一个满足分类要求的超平面,并且使训练集中的点距离分类面尽可能的远,也就是寻找一个分类面使它两侧的空白区域(margin)最大。支持向量机-线性分类+1-1如何进行数据分类线性分类器+1-1线性分类器如何进行数据分类+1-1线性分类器如何进行数据分类+1-1线性分类器如何进行数据分类+1-1如何选择最优分类面？线性分类器+1-1线性分类器的间隔（margin）：到超平面最近的样本与此超平面之间的距离。线性分类器+1-1具有最大间隔的线性分类器叫做

5、最大间隔线性分类器。其就是一种最简单的支持向量机(SVM)(称为线性支持向量机，即LSVM)线性分类器+1-1支持向量(SupportVectors):是那些距离超平面最近的点。具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM)(称为线性支持向量机，即LSVM)线性分类器Why…最大间隔?+1-1f(x,w,b)=sign(w.x-b)支持向量(SupportVectors):是那些距离超平面最近的点。具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM)(称为线性支持向量机，即LSVM)直观上感觉

6、很好.学习得到的线性分类器.其对未知样本的预测能力与分类器间隔有如下关系：线性分类器假定训练数据可以被一个超平面分开我们进行正归化此时分类间隔等于使最大间隔最大等价于使最小最优分类面问题可以表示成约束优化问题MinimizeSubjectto定义Lagrange函数线性分类器Lagrange函数令其偏导数为0得到线性分类器因此该问题的求解可转化为一个标准的二次优化问题，通过对该问题的求解即可完成支持向量的求解线性分类器以上所得到的最优分类函数为：该式只包含待分类样本与训练样本中的支持向量的内积运算，要解决一个特征空间中的最优线性分类问题,我们只需要知道这个空间中的内

7、积运算即可。若存在离群点，则问题变成了线性不可分？松弛变量、核函数与特征映射松弛变量、核函数与特征映射线性不可分的情况下，可以条件中增加一个松弛项　　　　　成为已知：求解：目标：最优分类面折衷考虑最少错分样本和最大分类间隔，就得到广义最优分类面，其中，C>0是一个常数，它控制对错分样本惩罚的程度。1）并非所有的样本点都有一个松弛变量与其对应。实际上只有“离群点”才有，或者也可以这么看，所有没离群的点松弛变量都等于0。2）松弛变量的值实际上标示出了对应的点到底离群有多远，值越大，点就越远。3）惩罚因子C决定了对离群点带来的损失的重视程度，显然当所有离群点的松弛变量