支持向量机及相关向量机学习报告.doc

《支持向量机及相关向量机学习报告.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、SVM以及RVM学习报告一．支持向量机支持向量机是一种机器学习方法，以统计学习理论的VC维理论和结构风险最小化原则为基础。所以要首先理解VC维和结构风险最小化原则这两个概念。VC维就是一种含有特殊含义的维数，可以联我们平时熟悉的二维平面，三维空间等等。这种特殊含义就是，对于一个函数集，能够把一个含有h个样本的样本集按照所有可能的种形式分开而不能被分开，那么样本的vc维就是h。其中的指示函数的函数值取-1和1或者是0和1。例如二维平面的线性函数集合，能够把平面上的三个点分成8种形式，这三个点相当于一个样本集的样本数，而不能

2、够将平面上的4个点分成16种形式，而只能是14中形式。结构风险包括两个方面，一个是经验风险，一个是置信风险。之所以说是经验风险，是因为实际中学习样本是有限的，即使是根据大数定理，经验风险也是和期望风险有偏差的。一般是，函数集的vc维越大，经验风险就越小。还有置信风险是与推广能力有关的，即是预测未来的的准确性。函数集的vc维越大，模型就越复杂，虽然很好地拟合了有限的样本，但是对预测未来的推广能力不强。支持向量机使结风险最小化的方法是，保持经验风险不变，然后最小化置信风险。这个的关键是最小化vc维，那么怎样最小化vc维？对于

3、一个超平面，如果它对向量x按如下方式分类：则称之为-间隔分类超平面。还有一个定理阐述了间隔与vc维h的关系，用公式可以表示为这个公式说明，可以通过最大化分类超平面的分类间隔来间接地最小化vc维h，使vc维h最小。支持向量机就是基于经验风险不变的基础上最大化分类间隔，从而使vc维最小。支持向量机理论中，可分为线性支持向量机，广义线性支持向量机和非线性支持向量机，这三个应该是用来作分类的。还有用来做拟合的是回归型支持向量机，用于回归拟合。对于回归性支持向量机，也是分为线性回归和非线性回归两种。支持向量机方法是从线性可分情况下

4、的最优分类超平面提出的。就先从简单的线性可分支持向量机入手。在分类问题中，n个样本的训练集能被一个超平面没有错误地分开，并且离超平面最近的向量与超平面之间的距离是最大的，该平面就成为最优超平面。两个标准超平面和，这两个超平面过离分类超平面的距离最小的样本点，其中在这两个标准超平面上的点成为支持向量，起支撑作用，故而得名。然后就是，标准超平面到分类超平面的距离就是。好的，要想分类间隔最大，那么就使这个距离最大就行了。然后就是，可能是为了后面的一系列求解的方便吧，就转换成求的最小值。当然了，还有约束条件的，那就是，两个标准平

5、面之间是不能有样本向量的，那么用数学式子表示就是：合起来写就是。现在的情况是，有了目标函数，有了约束条件，要求目标函数的最小值，实际上更需要的是求出最优解对应的w。然后书上书这是一个凸二次规划问题，求解可通过解拉格朗日函数获得，这个拉格朗日函数如下：式中，0为拉格朗日乘子。然后就是经过求导，对偶二次规划，求得最优的，跟着就可以求得w,b。那么就可以确定这个分类超平面了再用符号函数换成分类函数形式就可以了。对于有限的样本，支持向量的地位尤为重要，对于不是标准平面上的向量，随便移动，只要不移动到两个标准平面之间就可以，结果是

6、对分类没有影响的。书中说体现了其稀疏性。根据以上同样的方法也就可以求得广义线性支持向量机，至于引入广义支持向量机是因为对于线性不可分和噪声的情况，线性可分支持向量机并不能完全获得期望风险最小，甚至是过学习，过学习就是推广能力差的意思吧。这就是说，比如对于一个样本，其中的某些向量由于噪声等原因偏离了本来最优的分类范围，如果在未知的情况下，再分类，会导致结果与原来有很大的偏差。也就偏离了本来真实的情况。因此引入非负松变量，与上面的线性支持向量机相比，相当于缩小了分类间隔。在目标函数一式子中还引入了规则化C，用于对经验风险和置

7、信风险进行折中。这也是因为引入了松弛变量而引入了经验风险的缘故吧。非线性支持向量机的实现思想是，既然在现有的vc维不行，就将输入空间映射到一个新的高维空间，然后在此高维空间使用线性支持向量机进行分类。想起了上述在阐述vc维过程中提到的例子，就是二维空间的线性分类器不能够线性划分平面上的四个点，那么可以通过映射到三维空间，用三维空间线性分类器对四个点进行划分。由于高维特征空间计算复杂的问题，引入核函数，在求解过程中，发现这个核函数就是映射函数的内积，即是，其中为映射函数。回归性支持向量机，用于回归估计。和分类问题相比，在数

8、学描述提法上是相同的，不同的地方是变量y的取值，分类问题，如果是分两类的话，y的取值必然是两个固定的值。回归估计中，变量y可以取任意值。对于估计中引入的损失函数，称其中，真实值与估计值之差的绝对值的损失函数，称为最小模方法，是为鲁棒回归。为了使支持向量回归估计具有稀疏性，引入不敏感损失函数。就是说，偏差范围内是可以接