资源描述：
《基于svm与遗传算法的非线性模式识别》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第22卷第6期电脑开发与应用(总437)·13·文章编号:1003-5850(2009)06-0013-03基于SVM与遗传算法的非线性模式识别NonlinearPatternRecognitionbasedontheSupportVectorMachinesandGeneticAlgorithms许慧燕王景芳侯玉宝(湖南涉外经济学院电气与信息工程学部长沙410205)【摘要】设计了一种支持向量机的模型结构,以遗传算法进行该模型参数的组合优化建模,并将其用于非线性模式识别,该方法不仅对线性问题有
2、效,对非线性问题同样适用有效;该法简洁易行,优于多段线性分类器设计方法与BP误差回传网络算法,通过实例验证其识别效率达100%。【关键词】遗传算法,支持向量机,模式识别,非线性,组合优化中图分类号:TP39文献标识码:AABSTRACTThispaperintroducedhowtodesignthemodelstructureoftheSupportVectorMachinesinnonlinearpatternrecognitionandhowtooptimizethemodelparame
3、tersbasedonGeneticAlgorithms.TheuseoftheGeneticAlgorithmisshorterandmoredirectandmoreconvenientandbetterthandesignofpiecewiselinearclassifiersandtheerrorback-propogationalgorithm.ThismethodisfittedtovalidnonIinearpatternrecognitionproblem.Therecognit
4、ionraterecievesto100%intheexample.KEYWORDSgeneticalgorithms,supportvectormachines,patternrecognition,nonlinearity,combinationoptimizing支持向量机SVMs是统计学习理论中最年轻的内化:令$=1,而w和b可以按比例缩放。离超平面最近容,也是最实用的部分。其核心内容是在1992年到的样本点(支持向量)满足:[5]1995年提出的,主要针对模式识别问题。遗传算法(w.x
5、i)+b=1,若y=1(4)简称GA(GeneticAlgorithms)是1962年由美国(w.xi)+b=-1,若y=-1(5)Michigan大学的Holland教授提出的模拟自然界遗传支持向量到超平面的距离为1/‖w‖。于是,这个机制和生物进化论而成的一种并行随机搜索最优化方最优化问题的数学提法为:法。其算法简单,可并行处理,能得到全局最优解。2min1/2‖w‖以往我们对线性模式识别问题的方法与应用比较s.t.yi(w.xi+b)-1≥0,(i=1,⋯,l)(6)成熟,对非线性问题大家
6、都试探用多段或多种线性方按照最优化理论中二次规划的解法,可把该问题法处理;文献[1]就是学者们研究的一种方法,尽管这转化为Wolfe对偶问题来求解。构造Lagrange函数:样往往能达到样本可分的目的,但方法结构复杂,处理l2问题“手术”较繁琐。L(w,A,b)=1/2‖w‖-∑i=1Aiyi(w.xi+b)+l∑i=1Ai(Ai≥0;i=1,2,⋯,l)(7)1用于分类的支持向量机式中:Ai是Lagrange乘子。根据最优化原理有:n假定训练数据{xi,yi}(i=1,⋯,l;xi∈R;5L(
7、w,A,b)/5w=0(8)yi∈{-1,+1}),可以被一个超平面(w.x)+b=0没5L(w,A,b)/5b=0(9)有错误地分开,则与两类样本点距离最大的分类超平l即w=∑i=1Aiyi.xi(10)面会获得最佳的推广能力。最优超平面将由离它最近l的少数样本点(称为支持向量)决定,而与其他样本无∑i=1Aiyi=0(11)关。用如下形式描述与样本间隔$的分类超平面:将两式代回Lagrange函数中,消去w和b,经运算(w.x)+b=0,‖w‖=1(1)得到原最优化问题的Wolfe对偶问题:
8、y=1,若(w.x)+b≥$(2)llmaxw(A)=∑i=1Ai-1/2∑i,j=1AiAjyi.yjxixjy=-1,若(w.x)+b≤-$(3)l将SVMs最优化问题中的分类超平面作如下归一s.t.∑i=1Aiyi=0((Ai≥0;i=1,2,⋯,l)(12)*2009-02-18收到,2009-04-03改回**基金项目:湖南省教育厅科学研究项目(08C514)资助。***许慧燕,女,1982年生,硕士,研究方向:模式识别。·14·(总438)基于SVM与遗传算法的非线性模式识别2009
