资源描述：
《chapter5_support_vector_machines》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、Chapter5SupportVectorMachinesReferences:1.邓乃扬，田英杰，支撑向量机---理论、算法与拓展，科学出版社，2009.2.V.N.Vapnik著，张学工译，统计学习理论的本质，清华大学出版社，2000.（第五章）3.S.Kumar,神经网络，清华大学出版社，2006.（Chapter8,Sections8.1~8.3）Websites1.C-C.ChangandC-J.Lin,LiBSVM:ALibraryforSupportVectorMachines,2004,www.csi
2、e.ntu.edu.tw/~cjlin/libsvm一、IntroductionClass1Class2多层前向网络的问题：网络结构的确定、过学习与欠学习、陷入局部极小、决策超平面非最优等。Class1Class2两类中间(最优分类超平面)支撑向量机：+无上述问题V.N.Vapnikandco-workers(Guyon):AT&TBellLabs研究热潮：1995~2000(averyactiveandtrendytopicofresearch),已基本成熟。理论基础：统计学习理论[Haveaconnectiont
3、ostructuralriskminimization(VCdimension)]Suitabletasks:patternclassification,nonlinearregression.二、最优分类超平面——训练样本线性可分情形(最大间隔超平面)1992261.问题的陈述训练样本：，——线性可分Objective:建立具有好的推广能力的分类超平面。Intuitiveidea:Constructaseparatinghyperplanethatmaximizesthemarginofseparation.Cla
4、ss1Class-1SupportvectorsMargin类分离带最优分类超平面：所有可能的这些分类超平面：中，具有最大间隔(margin)的超平面。2.数学的描述(1)分离带的建模(唯一化)选择，使则训练样本满足约束：(2)间隔的计算设，则26总间隔(totalmargin)=(3)最优分类超平面的二次凸规划表示()3.Solvetheoptimalhyperplane(1)UseLagrangeMultiplyerMethodWeusethetechniqueofLagrangeMultiplierstosol
5、vethisoptimizationproblem.Thisisdonefortworeasons:lTheconstraintsonLagrangeMultipliersareeasiertohandle;lMostimportantly,thetrainingdatawillappearintheformofdotproductsinthefinalequation.二次凸规划问题()Lagrange函数：其中为Lagrange乘子，则为()最优解KTTConditions:袁亚湘，p42526最优分类超平面.S
6、upportVectors：如果是支撑向量，则由互补条件知,最优分类超平面可重写为.(2)ComputelCompute取，，则=lCompute求Lagrange乘子使用Lagrange对偶法。二次凸规划问题26——是此二次凸规划问题的解。,where,Remark:Thesufficientandnecessaryconditionsholdforquadraticconvexoptimizationproblem.袁亚湘，p422.(3)DecisionFunction(4)MatlabCode(Kumar,p
7、283)‘qp’:Matlab’sstandardfunctionforquardraticoptimization..例、Kumar,p284.4．例子考虑两类分类问题：.26Solution:令其中,，,则是最优解满足(关于线性方程组)，于是令，则,,,最优分类超平面：.支撑向量：,.三、最优分类超平面——训练样本非线性可分情形Thisisacasethatismoreoftenencounteredinpractice.1.问题的陈述训练样本：，——非线性可分最优分类超平面的选择准则：26Class1Class
8、-12.数学的描述l准则(1):l准则(2)的描述:对每个训练样本，引进松弛变量，则训练样本满足约束：，具有如下特征：准则(2)的训练样本的数目尽可能的少，其中.l最优分类超平面的二次凸规划表示,26Remark:(1)控制了准则(1)与准则(2)的取舍；(2)由于不连续、非凸，求解上述优化问题是困难的。因此退而求下面的优化问题。退一步，可改写
