支持向量机(五)SMO算法-JerryLead-博客园.pdf

《支持向量机(五)SMO算法-JerryLead-博客园.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、15-12-11支持向量机（五）SMO算法-JerryLead-博客园JerryLeadAllthingsaredifficultbeforetheyareeasy.支持向量机（五）SMO算法公告11SMO优化算法（Sequentialminimaloptimization）ContactmeviaSMO算法由MicrosoftResearch的JohnC.Platt在1998年提出，并成为最快的二次规划优化算法，特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequenti

2、alMinimalOptimizationA昵称：JerryLeadFastAlgorithmforTrainingSupportVectorMachines》了。园龄：4年9个月粉丝：1468我拜读了一下，下面先说讲义上对此方法的总结。关注：4首先回到我们前面一直悬而未解的问题，对偶函数最后的优化问题：+加关注导航博客园首页新随笔联系订阅管理<2011年3月>要解决的是在参数上求最大值W的问题，至于和都是已知数。C由我们预先设定，也是已知日一二三四五六数。2728123456789101112按照坐标上

3、升的思路，我们首先固定除以外的所有参数，然后在上求极值。等一下，这个思路有问题，因为如1314151617181920212223242526果固定以外的所有参数，那么将不再是变量（可以由其他值推出），因为问题中规定了2728293031123456789统计随笔-27因此，我们需要一次选取两个参数做优化，比如和，此时可以由和其他参数表示出来。这样回带到W文章-0评论-351中，W就只是关于的函数了，可解。引用-0这样，SMO的主要步骤如下：搜索找找看谷歌搜索常用链接我的随笔我的评论我的参与最新评论我的标

4、签意思是，第一步选取一对和，选取方法使用启发式方法（后面讲）。第二步，固定除和之外的其他参数，我的标签确定W极值条件下的，由表示。MachineLearning(22)SMO之所以高效就是因为在固定其他参数后，对一个参数优化过程很高效。BigData(3)Maths(1)下面讨论具体方法：随笔档案(27)假设我们选取了初始值满足了问题中的约束条件。接下来，我们固定，这样W就是2013年4月(1)和的函数。并且和满足条件：2012年8月(2)2012年5月(1)2011年8月(1)2011年6月(1)201

5、1年5月(2)由于都是已知固定值，因此为了方面，可将等式右边标记成实数值。2011年4月(10)2011年3月(9)www.cnblogs.com/jerrylead/archive/2011/03/18/1988419.html1/915-12-11支持向量机（五）SMO算法-JerryLead-博客园积分与排名积分-27628当和异号时，也就是一个为1，一个为-1时，他们可以表示成一条直线，斜率为1。如下图：排名-7638最新评论1.Re:小谈导数、梯度和极值@giveme5为什么==6?...--m

6、idu2.Re:线性判别分析（LinearDiscriminantAnalysis）（一）@xzf125244170这里(lamba_w是新引入的一个常数)...--邊城浪子3.Re:HadoopvsSpark性能对比Spark本身就是对迭代计算有优势的。--四通大哥4.Re:PDF版学习笔记感谢~：）--drsalar5.Re:PDF版学习笔记为什么没法下载啊？横轴是，纵轴是，和既要在矩形方框内，也要在直线上，因此--独步苍穹阅读排行榜，1.Spark安装与学习(117261)2.（EM算法）Th

7、eEM同理，当和同号时，Algorithm(114611)3.支持向量机SVM（一）(102104)4.K-means聚类算法(100471)，5.对线性回归，logistic回归和一般回归的认识(63705)然后我们打算将用表示：评论排行榜1.（EM算法）TheEMAlgorithm(51)2.支持向量机（五）SMO算法(36)然后反代入W中，得3.PDF版学习笔记(29)4.支持向量机SVM（一）(21)5.主成分分析（Principalcomponentsanalysis）-最大方差解释(21)展开

8、后W可以表示成。其中a,b,c是固定值。这样，通过对W进行求导可以得到，然而要保证满足，我们使用表示求导求出来的，然而最后的，要根据下面情况得到：推荐排行榜1.（EM算法）TheEMAlgorithm(53)2.支持向量机SVM（一）(34)3.K-means聚类算法(30)4.主成分分析（Principalcomponentsanalysis）-最大方差这样得到后，我们可以得到的新值。解释(23)5.支持向量机（三）核函数(