基于核化原理的非线性典型相关判别分析.pdf

《基于核化原理的非线性典型相关判别分析.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、第Z7卷第6期计算机学报Vol.Z7No.6Z004年6月C~INESEJOURNALOFCOMPUTERSJuneZ004基于核化原理的非线性典型相关判别分析孙平徐宗本申建中<西安交通大学理学院信息与系统科学研究所西安710049>摘要典型相关判别分析是将传统的典型相关分析应用于判别问题它是一类重要的特征提取算法但其本质上只能提取数据的线性特征.应用统计学习理论中的核化原理可以将这样的线性特征提取算法推广至非线性特征提取算法.该文研究了如何将这一原理应用于典型相关判别分析提出了基于核化原理的非线性典型相关判别分析并且

2、给出了求解该问题的一个自适应学习算法.数值实验表明基于核化原理所导出的非线性典型相关判别分析比传统的典型相关判别分析更有效.另外该文从理论上证明所提出的新方法与Fisher核判别分析等价.关键词核化原理典型相关分析判别问题Fisher核判别分析自适应算法中图法分类号TP301NonlinearCanonicalCorrelationAnalysisforDiscriminationBasedonKernelMethodsSUNPingXUZong-benS~ENJian-Zhong

3、atiOnandSSstemSciencesFacultSOfScienceXi,'anJiaOtOngUniuersitSXi,an710049>AbstractInthispaperWegeneraliZetheCanonicalCorrelationAnalysisfordiscrimina-tiontoyieldaneWnonlinearlearningmachinebyusingkernelmethods.WenameitasKernelCa-nonicalCorrelationDiscrimina

4、ntAnalysisWhichisapoWerfultechniCueforeXtrac-tingnonlinearfeaturesfromhigh-dimensionaldatasets.Toovercometheproblemsofcomputa-tioncompleXityWealsoproposedaadaptivelearningalgorithmforKCCDAbasedononlinespar-sification.EXtensiveeXperimentsonartificialandrea

5、l-Worlddatasetsdemonstratethecompeti-tivenessofKCCDAandouradaptivelearningalgorithm.FinallyfromthetheoreticalvieWpointWeprovedthatKCCDAisidenticaltotheKernelFisherDiscriminantanalysiseXceptforanunimportantscalefactor.Keywordskernelmethodscanonicalcorrelatio

6、nanalysisdiscriminationKernelFisherDis-criminantanalysisadaptivelearningalgorithm[1]种统计分析方法它在众多领域有着广泛的应用.l引言特别地判别问题通过对数据样本类标号的适当编码可自然化归到典型相关分析问题相应的判别方传统的典型相关分析是研究两组变量之间相关关系的一lationDiscriminantAn

7、alysisCCDA>.bartlett曾证收稿日期Z00Z-1Z-Z3修改稿收到日期Z003-07-16.本课题得到国家八六三高技术研究发展计划基金资助.孙平男1979年生硕士研究生主要研究兴趣为智能计算模式识别以及核学习算法.徐宗本男1955年生教授博士生导师主要研究兴趣为神经网络演化计算和数据挖掘理论及应用.E-mailZbXu!mail.Xtu.edu.cn.申建中男1957年生博士副教授主要从事偏微分方程理论及应用神经网络理论及应用的研究.790计算机学报Z004年明了该判别方法与

8、Fisher线性判别分析(FisherCCA.ZLinearDiscriminantAnalysisFLD)是等价的.从2.l典型相关分析(CCA)本质上说典型相关判别分析与Fisher线性判别分设xRPyR1是两组随机变量{xx1Z析一样都是线性算法它们只能提取数据的线性特xm}{y1yZym}表示相应的样本集.CCA研究征而不