基于矩阵模式的最小类内散度支持向量机.pdf

《基于矩阵模式的最小类内散度支持向量机.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、基于矩阵模式的最小类内散度支持向量机摘要：本文基于最小类内散度支持向量机（MCSVMs）提出一种新的矩阵模式的最小类内matrix散度支持向量机（MCSVMs）。同时为了更好地解决非线性分类问题，将Mercer核函数matrixmatrix引入到MCSVMs方法中，并提出基于矩阵模式的非线性支持向量机：Ker-MCSVMs。上述两种方法不但继承了MCSVMs的优点，而且由于将矩阵模式的类内散度矩阵引入到支持向量机中，从而在理论上可以较好地解决了MCSVMs方法在处理小样本高维数据集时类内散度矩阵奇异性问题，同时降低了求解类内散度矩阵及其逆

2、矩阵和权重矢量ω的时间、matrix空间复杂度。因此，在一定程度上提高了分类精度。实验结果也表明MCSVMs、matrixKer-MCSVMs具有上述优势。关键字：支持向量机；矩阵模式；类内散度矩阵；人脸识别中图分类号：TP391文献标识码：AMatrixPatternBasedMinimumWithin-classScatterSupportVectorMachinesAbstract:Basedonminimumwithin-classscattersupportvectormachines(MCSVMs),anewmatrixmat

3、rixpatternbasedMCSSVMs(MCSVMs)ispresented.Accordingly,itisextendedbyintroducingMercer’skernelsinordertosolvetheproblemofnonlineardecisionboundaries,whichpresentsasignificantmatrixpatternbasednonlinearsupportvectormachines:Ker-matrixMCSVMs.Theabove-mentionedapproachesnoton

4、lykeepthemeritsofMCSVMs,but,owingtointroducingmatrixpatternbasedwithin-classscattermatrixintosupportvectormachines,theoreticallybettersolvethesingularproblemofwithin-classscattermatrixwhensmallsamplesizeproblemsaredealtwith,reducethetime/placecomplexitywhenwithin-classsca

5、ttermatrix,itsinvertiblematrixandcoefficientvectorωarecalculated.Hence,theclassificationaccuracyisimprovedtocertainextent.Experimentalresultsindicatetheaboveadvantagesoftheproposedmatrixmatrixmethods:bothMCSVMsandKer-MCSVMs.Keywords:SVMs;matrixpattern;within-classscatterm

6、atrix;facerecognition1、前言支持向量机（Supportvectormachine,SVM）是数据挖掘中一项新技术，它借助于统计学习理论和最优化方法解决机器学习问题，该方法的目的在于寻找带有最大间隔的最优超平[1]面去最小化Vapnik-Chervonenkis(VC)维。SVM区别于其他非参数方法（比如最近邻分类方[2]法、神经网络分类方法）的本质在于SVM方法是基于结构风险最小化原则。SVM方法能[3][4,19][5,6]在模式识别领域（比如对象识别、生物信息学、人脸识别）得到广泛的运用的原因在于该方法具有较系统

7、的理论基础，同时还有另外两个方面的优势：一是该方法的原始优化问题可以转化成二次规划形式的对偶问题，从而在一定程度上保证得到局部最优解；二是该方法可以通过非线性函数φ将样本投影到特征空间，从而可以在高维的特征空间寻找非线性的决策超平面，提高非线性分类效果。SVM在寻找非线性超平面时并不需要真正去选择非线性函数φ，而是通过使用相应的核技巧（kerneltrick）就可以将样本投影到高维的特征空[2]间，从而提高了方法的实用性。在文献[5]中，A.Tefas等人在充分分析了Fisher判别准则后，将Fisher判别准则重新写成具有新约束条件的二

8、次规划的形式，从而提出了最小类内散度支持向量机（MinimumWith-classScatterSupportVectorMachines,MCSVMs），该方法充分结合了Fisher判别准则