基于核方法的纠错输出编码多类分类算法改进

《基于核方法的纠错输出编码多类分类算法改进》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要分类问题是众多研究领域中的一个基本问题，如图像识别、语音识别、医疗诊断、系统辨识和控制、自然语言处理、蛋白质结构和功能预测、金融风险分析等等。诸多领域的强大需求为分类问题的算法和应用的研究带来了机遇和动力。同时，近来的统计学习理论为此提供了强大的理论支持，不断出现各种分类问题的解决思路。而随着二类分类(binaryclassclassification)的技术逐渐成熟，最近研究人员逐渐将目光转向应用需求更加广泛的多类分类问题(multiclassclassification)。与二类分类问题相比，多类分类问题存在一定的难点：模型表示困难，理论支撑少，分类器训练复杂度大

2、等。近年来，多类分类算法中一种比较流行的思想是把多类分类问题分解成若干个二类分类分类问题来求解，纠错输出编码(ECOC，Error-correctingOutputCoding)是一个典型的代表。本文通过调研各种分类算法以及对ECoC的仔细分析，基于统计学习理论中的大间隔(1argemargin)思想提出两种了ECOC的改进策略，目标是提高ECOC框架的预测能力，提高其预测精度。本文的贡献在于：(1)基于结构风险和正则化，修改ECOC的损失函数，把局部独立损失修改为全局损失，提出了基于一致训练的ECoC算法。(2)对各个分类器基的在解码输出过程中进行加权，基于结构风险和正

3、则化定义给权值向量的损失，通过优化这个损失函数获得一个最优的权值系数，而获得一个性能更好的分类器。本算法能进一步推广到希尔伯特空间，使得分类器的输出和权值系数在核空间进行内积操做，从而实现非线性解码(nonlineardecoding)。(3)对两种改进对应的对偶问题提出了改进的优化方法。所提出的这两种改进算法既保持了ECOC方法和核方法的良好特性，同时有效提高了多类分类预测性能。同时，本文还给出了一致学习算法的几个特例和现有算法的等价性证明。为了评估这两种改进算法的有效性，本文设计了三个实验来进行测试。(1)在Ua标准数据库上和已有算法进行多类分类预测精度(Accura

4、cy)的比较。(2)RoboCup机器人足球仿真平台上和已有的算法进行了预测精度的比较，同时考察了本文方法在多智能体的对手建模上应用的效用。(3)在基于颜色的目标识别问题上也就识别精度进行了比较，还考察了在此问题上的鲁棒性。Ⅱ中文摘要实验结果表明，两种方法在上述应用场合都能显著提高多类分类器的最终预测精度，同时也表明了在对手建模和目标识别上应用的有效性。关键词：多类分类、纠错输出编码、支持向量机AbstractClassificationisoneofthebasictasksinmachinelearning,whichiswidelyappliedinvariousr

5、ealmssuchasimageprocessing,voicerecognition,medicaldiagnose,sys‘ternidentificationandcontrol,naturallanguageprocessing,proteinsecondarystrtlcnlre(Pss)prediction,andfinancialriskanalysis．Thetheory,algorithm，andapplicationarebecomingmoreandmoresignificantintheartificialintelligentresearchdo

6、main．Alotofclassificationlearningmethodsareemergingintoourview,especiallyaftertheinventionofStatisticsLearningTheory(SLT)．Recently,however,moreandmorere-searchbeginstofocusonmulti-classproblemsratherthanbinary-classonesasitdidinthepast．Therearereasousforsuchphenomenonintheviewofboththeory

7、andappli-cation．Theresearchofbinary-classproblemshasmaturedintheoretically,forexamplethedevelopmentofbinaryclassSupportVectorMachines(SVMs)andthetheoryofboundar3nThemathematicalmodelofbinaryclassproblemsisalsoeasytobedemon-strated．Intheviewofapplication,moreandmorea