机器学习算法总结_SVM.docx

《机器学习算法总结_SVM.docx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第5章支持向量机5.1引言支持向量机(SupportVectorMachine，简称SVM)是于1995年由Cortes和Vapnik首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。它通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。支持向量机是一种二类分类模型。其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的

2、求解。支持向量机的学习算法就是求解凸二次规的最优化算法。5.2线性可分支持向量机5.2.1线性可分线性分类器是最简单也很有效的分类器形式。在一个线性分类器中，可以看到SVM形成的思路，并接触很多SVM的核心概念。用一个二维空间里仅有两类样本的分类问题来举个小例子。如图1.1所示图5.1二维空间两样本分类问题和是要区分的两个类别，在二维平面中它们的样本如图1.1所示。中间的直线就是一个分类函数，它可以将两类样本完全分开。一般的，如果一个线性函数能够将样本完全正确的分开，就称这些数据是线性可分的，否则称为非线性可分的。线性函数，在一维空间里

3、就是一个点，在二维空间里就是一条直线，在三维空间里就是一个平面，可以如此想象下去，如果不关注空间的维数，这种线性函数还有一个统一的名称——超平面（HyperPlane）！实际上，一个线性函数是一个实值函数（即函数的值是连续的实数），而我们的分类问题（例如这里的二元分类问题——回答一个样本属于还是不属于一个类别的问题）需要离散的输出值，例如用1表示某个样本属于类别，而用0表示不属于（不属于也就意味着属于），这时候只需要简单的在实值函数的基础上附加一个阈值即可，通过分类函数执行时得到的值大于还是小于这个阈值来确定类别归属。例如我们有一个线性

4、函数（5-1）我们可以取阈值为0，这样当有一个样本需要判别的时候，我们就看的值。若，就判别为类别，若，则判别为类别。此时，也等价于给函数附加一个符号函数，即是我们真正的判别函数。5.2.2分类间隔显然，图5.1中间那条分界线并不是唯一的，我们把它稍微旋转一下，只要不把两类数据分错，仍然可以达到上面说的效果，稍微平移一下，也可以（如图5.2所示）。此时就牵涉到一个问题，对同一个问题存在多个分类函数的时候，哪一个函数更好呢？显然必须要先找一个指标来量化“好”的程度，通常使用的都是叫做“分类间隔”的指标。图5.2不同的分类线如图5.3，方形点

5、和圆形点代表两类样本,H为分类线，和分别为过各类中离分类线最近的样本且平行于分类线的直线,它们之间的距离叫做分类间隔(margin)。所谓的最优分类线就是要求分类线不但能将两类正确分开，而且使得分类间隔最大。而将这一理论推广到高维空间，最优分类线就变为最优分类面。图5.3分类间隔我们将问题延伸到高维数据上，并进行形式化的表示。假设给定一个特征空间上的训练集：T={(x1,y1),(x2,y2)⋯(xn,yn)其中，xi∈χ=Rn,yi∈γ=+1,-1,i=1,2,⋯,N，xi为第i个特征向量，也称为实例，yi为xi的类标记，xi,yi称

6、为样本点，假设训练数据集是线性可分的。定义5-1（函数间隔）对于给定的训练数据集T和超平面，定义超平面关于样本点的函数间隔为（5-2）定义超平面关于训练数据集的函数间隔为超平面关于中所有样本点的函数间隔之最小值，即（5-3）函数间隔可以表示分类预测的正确性。如果考虑和，如果同时成比例的改变为和。因为我们要求解的是，同时扩大和对结果是无影响的。但是，函数间隔却成为了原来的2倍。因此，我们需要对其法向量加一些约束，对其进行规范化。我们可以取，这样函数间隔便也就确定了。由这一事实到处几何间隔的概念。定义5-2（几何间隔）对于给定的训练数据集T

7、和超平面，定义超平面关于样本点的函数间隔为（5-4）定义超平面关于训练数据集的函数间隔为超平面关于中所有样本点的几何函数间隔之最小值，即（5-5）从前面的两个定义我们可以看到，函数间隔和几个间隔有下面的关系（5-6）实际上，就是样本点到超平面的距离。同时，当时，函数间隔与几何间隔是相等的。也就是说，前面提到的对的规范化的结果就是几何间隔。此时如果同时扩大和，也会随之扩大多少倍，对于最终的几何间隔并无影响。5.2.3间隔最大化支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。我们不需要考虑所有的点都必须远离

8、超平面，我们关心求得的超平面能够让所有点中离它最近的点具有最大间距。我们可以对该问题进行形式化的表示：（5-7）s.t.（5-8）函数间隔的取值并不影响最优化问题的解。事实上，假设将和按比例改变为实际上，就