机器学习SVM说课材料.ppt

《机器学习SVM说课材料.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、机器学习SVM概述：支持向量机发展历史1963年，Vapnik在解决模式识别问题时提出了支持向量方法。起决定性作用的样本为支持向量1971年，Kimeldorf构造基于支持向量构建核空间的方法1992年，Vapnik等人开始对支持向量机进行研究。1995年，Vapnik等人正式提出统计学习理论。概述通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。上个世纪90年代，支持向量机获得全面发展，在实际应用中，获得比较满意的效果，成为机器学习领域的标准工具常用的机器学习方法比较概率分布的方法

2、（经典的方法）Bayes方法,GMMs用于复杂分布建模决策树的方法（C4.5）属性具有明确含义时使用，一种经典的方法近邻分类简单的方法，如果样本有代表性，维数不高时好用支撑向量机高维空间的小样本学习Boosting算法大量训练样本下可以取得好的效果，速度很快人工神经网络ANN大量训练样本下可以取得好的效果，速度较慢SVM案例：手写体数字识别例子贝尔实验室对美国邮政手写数字库进行的实验该数据共包含7291个训练样本，2007个测试数据，输入数据的维数为16x16维分类器/学习方法错误率人工表现2.5%决策树C4.516.2%三层神经网络5.9%SVM4.0%DeepLearning<1.0%

3、SVM案例：石脑油预测SVM案例：目标检测弱监督的多形态的高清航拍图像目标检测识别内容SVM概述结构风险最小化线性SVMSVM求解处理线性不可分问题SVM训练算法VC维与经验风险分类问题图示：过拟合与欠拟合underfitting欠拟合Overfitting过拟合goodfit较好的拟合问题:小的经验风险并不意味着期望风险R小.结构风险最小化实际风险（测试误差）:Risk经验风险（训练误差）：Empiricalrisk结构风险的界：以概率VCdimensionVCconfidence证明：在PAC理论部分结构风险最小化原则结构风险最小化Vapnik-Chervonenkis(VC)dime

4、nsionVC维定义为一组函数，如平面、直线等在空间打散（任意分类）样本的能力例如，直线的VC维为3，当4个样本点时，无法任意分类（直线右侧分类-1，左侧为1）内容SVM概述结构风险最小化线性SVMSVM求解处理线性不可分问题SVM训练算法线性SVM线性分类器解决的问题：根据一个带有类别标号的训练集合，通过学习一个线性分类面，使得训练集合按照类别进行划分通常转化成一个优化问题以两类监督分类问题问题为例来解释分类面：把一个空间按照类别切分两部分的平面，在二维空间中，分类面相当于一条直线，三维空间中相当于一个平面,高维空间为超平面线性分类面函数形式为：wT,b是分类面函数参数,x是输入的样本,

5、wT权向量,b是偏移量线性SVM线性SVM代入(1,0),(0,1)验证f0线性分类面函数：如果则为xi分类面上的点，反之也成立。如果w相同，则分类面是平行的，b是一个偏移量线性SVM线性分类器学习：从给定的训练样本确定wT和b这两个参数。得到参数以后，就确定了分类面，从而可以对输入样本进行分类。阐述一下各个参数的性质当s1和s2都在分类面上时，这表明wT和分类面上任意向量正交，并称wT为分类面的法向量。wT几何解释：线性分类器的作用就是把输入样本在法向量上投影变成一维变量，然后给一个阈值来分类fxayest表示+1表示-1f(x,w,b)=sign(wx+b)如何分类这些数据？wx+b=

6、0wx+b<0wx+b>0线性SVMfxayest表示+1表示-1f(x,w,b)=sign(wx+b)如何分类这些数据？线性SVMfxayest表示+1表示-1f(x,w,b)=sign(wx+b)任何一个分类器（一条线）都有效..但是哪一个是最好的?线性SVMfxayest表示+1表示-1f(x,w,b)=sign(wx+b)你如何训练分类器？假设你的测试数据可能出现在这里线性SVMfxayestf(x,w,b)=sign(wx+b)Max-marginfxayest表示+1表示-1f(x,w,b)=sign(wx+b)定义分类器的边界以改善分类性能.线性SVM表示+1表示-1Maxi

7、mummarginlinearclassifier就是最大化边界地带的意思.这是一种线性化的SVMLinearSVMSupportVectors是边界上的一些样本点这种理论说明只有Margin上的样本点是重要的，其他样本都不重要实践证明这种假设效果非常好.Max-margin线性SVMSVM从线性可分情况下的分类面发展而来Margin最大化分类面不仅仅要求经验风险尽可能的小，且使分类间隔最大SVM考虑寻找一个满足分类要求