svm支持向量机课件.ppt

《svm支持向量机课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、前情提要支持向量机的创新之一在于将分类面的求解看作是一个二次规划问题支持向量机的创新之二在于揭示了对分类起关键作用的只是一部分训练样本，即支持向量1.对线性支持向量机的小结12.线性支持向量机的数学模型：其中通过求解如下的优化问题得到：前情提要(续1)2前情提要(续2)3.线性支持向量机的编程实现：MatlabCsvcoutput(trnx,trny,testx,’linear’,alpha,bias);[nsvalphabias]=svc(trnx,trny,’linear’);svm_model*svm_train(svm_problem*pro

2、b,svm_parameter*param)svm_predict(svm_model*model,svm_node*x)3SVMForNonlinearProblems求解非线性问题的SVM4第四讲41.如何解决少量非线性可分样本？5内容提要2.如何解决大量非线性可分样本？3.核函数方法（KernelTrick）4.SVM背后的统计学习理论5基本思想：通过训练误差和类间宽度之间的权衡，得到一个最优超平面。1.线性SVM求解含少量非线性可分样本的思想优化目标：约束条件：权衡因子松弛变量61类样本：位于分类间隔之外7类似的，通过Lagrange函数，转

3、化为对偶问题1类样本2类样本3类样本2类样本：支持向量3类样本：位于分类间隔之内7不同的权衡因子得到的不同的分类面C＝10C＝100082.非线性支持向量机当线性支持向量机划分样本会产生过多训练误差时，需要考虑使用非线性分类面对两类样本进行划分。92.1寻找非线性问题的三种思路思路1:原空间法在原空间中直接求解非线性问题10例1：XOR问题思路2:特征空间法将非线性问题的求解转换成另一个空间中的线性问题求解11例2：物种分类问题12寻找特征映射Ф所面临的问题：1.特征映射Ф的确定往往需要相当高的技巧和相当专业的领域知识；3.特征映射Ф往往是一个低维向

4、高维映射的过程，这个映射过程经常面临维数灾难。2.特征映射Ф的计算可能会相当复杂；13思路3.核函数方法优化问题：判别函数：样本之间的内积结论：构建支持向量机只需要知道任意两个样本之间的内积定义，无需知道样本点自身的特征表示构建到特征空间的隐式映射142.2线性SVM通过核函数扩展为非线性SVM线性SVM:假设经过某种非线性特征映射后原来的非线性可分问题可以通过线性SVM来解决，则在特征空间中的判别函数可以表示为：15其中通过求解如下的优化问题得到：利用核函数将非线性问题转化为线性问题的手段和方法称之为核函数方法。16例：XOR问题中我们构造了一个非

5、线性映射实现了特征的升维：样本点在新的特征空间中的内积为：核函数描述了样本点在经过某种特征变换后，在新的特征空间中的内积。17优化问题：判别函数：线性支持向量机非线性支持向量机利用支持向量机求解异或问题的结果示意图核函数183.1核函数的定义定义核函数是一个对称函数，对所有的满足：特征空间中的内积运算的充分必要条件是，对于任意的，它是某个这里是从X到内积特征空间F的映射。Mercer定理对于任意的对称函数且有3核函数方法19推论令X是有限输入空间，K(x,z)是X上的对称函数。那么K(x,z)是核函数的充要条件是矩阵：是半正定的。常用的核函数：多项式

6、核函数高斯核函数sigmoid核函数203.2核函数的构造令K1和K2是X*X上的核，f(∙)是X上的一个实值函数。B是一个对称半正定矩阵。那么下面的函数是核函数：从核函数中构造从特征中构造从相似性度量中构造213.3核函数的可分性定理2：样本点D在核函数k(x,y)导出的特征映射下线性可分的充要条件是，下列方程组不存在非负解：其中，223.3核函数的可分性其中，推论1：当时，样本点线性可分。推论2：对任意给定的训练样本，如果选用RBF核函数，则当宽度参数充分小时，训练样本总是线性可分的。233.4如何选择核函数问题1：何谓一个好的核函数？好的核函数

7、能够真实反映样本间的远近关系。问题2：如何判断核函数是否真实的反映的样本间的远近关系？比较难！但是初步判断核函数是否真实反映了训练样本之间的远近关系还是可能的。核函数的选择策略：选择能够真实反映训练样本远近关系的核函数。24问题3：训练样本间的远近关系如何表达？物理含义：两个属于同类的样本相似度为1，不同类的样本相似度为0。问题4：核函数与训练样本间的远近关系的一致性评估利用矩阵的相似性度量：25草案：通过求解下面的优化问题进行核函数参数的选择：问题：如果K()如下所示：它是一个糟糕的Gram矩阵。因为它把所有的训练样本均看作是同一类样本。而它会使

8、目标函数取到比较大的值！例1：核函数的选择最终方案：通过求解下面的优化问题进行核函数的选择：其中，K’=物理