基于分解技术的并行支持向量机算法

《基于分解技术的并行支持向量机算法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于分解技术的并行支持向量机算法基于分解技术的并行支持向量机算法李明强1韩丛英2贺国平31山东科技大学信息科学与工程学院山东青岛2665905102中国科学院大学数学科学院北京1000493山东科学院济南250000摘要支持向量机是以统计学习理论为基础的新型的机器学习方法近年来已经成为机器学习领域一个新的研究热点由于传统的优化算法在处理大规模数据集的训练问题时往往需要非常大的时间空间开销因此基于分解技术的并行支持向量机算法成为了求解支持向量机问题的主要算法之一本文首先介绍此算法的基本框架和涉及到的并行计算技巧然后给出了

2、一个新的子问题并提出用基于一阶信息的加速方法来求解新的子问题最后给出了基于无梯度计算的工作集选取方式并说明了这种方式的可行性关键词支持向量机并行算法工作集选取梯度投影法分解算法中图分类号O2211O24615ParallelSupportVectorMachineAlgorithmsBasedonDecompositionTechniqueLIMingqiang1HANCongying2HEGuoping31SchoolofInformationScienceandEngineeringShandongUniversit

3、yofScienceand202530TechnologyShanDongQingDao2665902SchoolofMathematicalSciencesUniversityoftheChineseAcademyofSciencesBeijing1000493ShandongAcademyofSciencesJiNan250000AbstractSupportVectorMachineisanewmethodofmachinelearningbasedonstatisticslearningtheoryIthasb

4、ecomeanewareaofresearchfocusinmachinelearningfieldAsmuchcostoftimeandspaceisneededwhenweusetraditionaloptimizationalgorithmsdealingwithtrainingissueswithlargescaleofdatasetsTheparallelalgorithmbasedondecompositiontechniquehasbecomeoneofthemainalgorithmswhichsolve

5、theSupportVectorMachinesInthispaperwefirstlyintroducetheoutlineofthisalgorithmandtheskillsinparallelcomputingThenwegiveanewsubproblemandproposetheaccerlatedmethodbasedonfirstorderinformationtosolvethenewsubproblemFinallywedescribetheworkingsetselectionmethodwitho

6、utgradientcomputationandproveitsfeasibilityKeywordsSupportVectorMachineParallelAlgorithmsWorkingSetSelectionProjectedGradientMethodDecompositonAlgorithms350引言支持向量机SupportVectorMachineSVM是建立在VC维理论和结构风险最小化原理基础上发展起来的数据挖掘新方法由于其具有很好的泛化能力因此SVM广泛应用于文本识别手写字体识别人脸图像识别回归分析函

7、数估计等领域40支持向量机分类问题的描述如下给定样本训练集Tx1y1xnyn∈RmYn其中xi∈Rm是输入指标向量yi∈Y11是输mfxsigngx推断出其对应的输出y1或-1其中signx为符号函数SVM理基金项目国家自然科学基金1097112211101420山东省科技攻关项目2009GG10001012山东省博士基金2010BSE06047高等学校博士学科点专项科研基金20093718110005作者简介李明强1988-男研究生主要研究方向数据挖掘最优化理论和方法通信联系人贺国平1959-男教授研究方向最优化理论

8、及应用数据挖掘E-mailhegp263net-1-m45基于间隔极大化的思想求最优分划超平面的问题即转化为求如下关于变量w和b的最优化问题minwb122ni1styiTxib≥1i1i≥0i1LnT间隔最大化和错分最小化的权衡系数模型1的对偶问题为下列二次规划Quadratic50Programmi