用纠错编码改进的m-ry支持向量机多类分类算法

《用纠错编码改进的m-ry支持向量机多类分类算法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、用纠错编码改进的M-ry支持向量机多类分类算法摘要:针对m-ary支持向量机(svm)多类分类算法结构简单,但泛化能力较弱的特点,提出了与纠错编码理论相结合的改进的m-arysvm算法。首先,将原始类别信息编码作为信息码;然后结合纠错编码理论及期望的纠错能力,产生一定程度上性能最佳的编码,作为分类器训练的依据;最后,对于识别阶段输出编码中的错误分类利用检错纠错原理进行校正。实验结果表明,改进的算法通过引入尽可能少的冗余子分类器增强了标准m-arysvm多类分类算法的性能。关键词:m-ary;支持向量机;纠错编码;多

2、类分类;最小码间距离;输出校正码enhancedm-arysupportvectormachinebyerrorcorrectioncodingformulti-categoryclassification英文作者名baojian,liuran*英文地址(schoolofcomputerscience,hangzhoudianziuniversity,hangzhouzhejiang310018,china)abstract:m-arysupportvectormachine(m-arysvm)formulti-c

3、ategoryclassificationhastheadvantageofsimplestructure,butthedisadvantageofweakgeneralizationability.thispaperpresentedanenhancedm-arysvmalgorithmincombinationwitherrorcorrectioncodingtheory.themainideaoftheapproachwastogenerateagroupofbestcodesbasedoninformati

4、oncodesderivedfromtheoriginalcategoryflagsinformation,thenutilizesuchcodesasthebasisfortrainingtheclassifier,whileinthefinalfeed-forwardphasetheoutputcodescomposedofeachsub-classifiercouldbecorrectedbyerrordetectionandcorrectionprincipleifthereexistsanyidentif

5、yingerror.theexperimentalresultsconfirmtheeffectivenessoftheimprovedalgorithmbroughtaboutbyintroducingasfewsub-classifiersaspossible.keywords:m-ary;supportvectormachine(svm);errorcorrectioncoding;multi-categoryclassification;minimumcodedistance;outputcorrectio

6、ncode0引言作为机器学习实现方法之一的统计学习理论(statisticallearningtheory,slt),以及基于此理论的支持向量机[1-2](supportvectormachine,svm)凭借其显著的性能优势,近年来得到广大研究人员的关注,并已取得了大量的研究成果,而此前作为研究热点的人工神经网络(artificialneuralnetworks,ann)虽然在工程实践中得到广泛的应用,但由于其建立在大数定理的渐近理论之上,要求学习样本足够多,且容易陷入局部极值或过学习的困境,并且在实际应用中隐含

7、层的层数及每层神经元数目如何确定仍无规律可循,只能凭借使用者的经验进行实验试凑。正是由于神经网络自身存在的这些不足,导致了支持向量机算法研究的兴起。标准支持向量机是针对两类分类问题提出的,根据有限样本信息在模型复杂性和学习能力之间寻求最佳折中,即通过最大化分类间隔得到最大的泛化能力,但是现实中的大多数模式识别问题都是多类分类问题,对此,通常的解决方法主要有4种:一类对一类(one-against-one,oao)、一类对其余(one-against-rest,oar)、有向无环图svm[3](decisiondir

8、ectedacyclicgraphsvm,ddagsvm)和m-arysvm[4]。此外,一些学者研究了其他一些针对特定多类分类问题的解决方法,如针对多类分类情况下可能会出现不可分区域及训练样本中存在噪声的情况,李广丽等[5]在svm的输入端通过引入模糊隶属度函数对输入数据进行转换并对利用改进的序列最小优化算法求解模糊多类分类支持向量机,从而获得较好的性能;