监督和半监督典型相关分析及其应用研究

《监督和半监督典型相关分析及其应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、南京航空航天大学硕士学位论文监督和半监督典型相关分析及其应用研究姓名：彭岩申请学位级别：硕士专业：计算机应用技术指导教师：张道强20081201南京航空航天大学硕士学位论文摘要典型相关分析（CCA）作为经典的多元数据分析方法，通过研究两组变量之间的相关关系来进行特征提取，近年来已开始在模式识别和机器学习等多个领域得到广泛的应用。但一方面，CCA作为一种全局线性特征提取方法，不足以很好地描述非线性问题，缺乏对局部变化的识别鲁棒性。另一方面，在半监督学习兴起的热潮下，还可以考虑将半监督技术引入到CCA中，以更好的利用先验信息。本文围绕这两个方面对CCA进行扩展研究，致力

2、于用扩展的CCA模型来解决机器学习和模式识别中的分类问题。本文的创新性研究成果总结如下：（1）为解决CCA不足以很好的描述非线性问题，提出了一种新的有监督学习方法---局部判别型CCA。该方法引入样本的类信息，并同时考虑了同类样本之间的局部相关与不同类样本之间的局部相关关系及其对分类的影响。利用核技巧，进一步提出了核化的局部判别型CCA，用以解决较为复杂的线性不可分问题。LDCCA和KLDCCA提取的特征能够实现同类样本之间的相关最大化，同时使得不同类样本之间的相关最小化，这将有利于模式的分类。在人工数据集、多特征手写体数据集和人脸数据集(Yale和AR)上的实验结

3、果表明：这两种方法具有较高的识别性能。（2）通过引入以成对约束形式给出的监督信息，提出了一种半监督的典型相关分析算法(Semi-CCA)。在此算法中，除了考虑大量的无标号样本以外，还考虑成对约束信息，即已知两样本属于同一类(正约束)或不属于同一类(负约束)，同时验证了两者的相对重要性。同时，为解决广泛存在的非线性问题，对Semi-CCA进行了核化，提出了KSemi-CCA。在多个数据集上的实验结果表明：Semi-CCA和KSemi-CCA能够有效地利用少量的监督信息来提高分类性能。（3）在对行为识别深入研究的基础上，将提出的半监督CCA和局部判别型CCA以及他们的核

4、化算法用于简单的行为识别，实验结果表明：利用我们的算法提取的特征对最终的行为分类具有较好的决定作用。关键词：典型相关分析；特征提取；降维；局部化；类信息；核技巧；成对约束；半监督学习；行为识别；I监督和半监督典型相关分析及其应用研究AbstractAsaclassicmultivariatedataanalysismethod,canonicalcorrelationanalysis(CCA)extractsfeaturesthroughstudyingthecorrelationbetweentwogroupsofvariablesandhasbeenwidely

5、appliedinpatternrecognitionandmachinelearningrecently.However,ononehand,asagloballinearmethodforfeatureextraction,CCAcannotdealwithnonlinearproblemsandalsoitislackoftherobustnesstolocalvariants.Ontheotherhand,undertheriseofsemi-supervisedlearning,originalCCAmodelcanbefurtherextendedtos

6、emi-supervisedcaseforbetteruseofpriorinformation.Inthisthesis,wefocusontheextendingoriginalCCAmodelforclassificationproblemsinmachinelearningandpatternrecognitionaddressingthetwoproblemsabove.Themainconstributionsofthisthesisaresummarizedasfollows:(1)InordertoovercomethedisadvantageofC

7、CAwhichcannotdescribenonlinearproblems,wehaveproposedanewsupervisedlearninganalysiscalledLocalDiscriminationCCA(LDCCA)whichconsidersacombinationoflocalpropertiesanddiscriminationbetweenclasses.BesidesconsideringcorrelationsbetweensamplepairsasinoriginalCCA,LDCCAalsousescorrelationsbe