资源描述：
《广义的监督局部保留投影算法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、广义的监督局部保留投影算法第31卷第8期2009年8月电子与信息JournalofElectronics&InformationTechnology,硒1.31No.8Aug.2009广义的监督局部保留投影算法王晓明王士同(江南大学信息工程学院无锡214122)摘要:针对监督的局部保留投影算法(SupervisedLocalityPreservingProjection,SLPP)在小样本情况下矩阵的奇异性问题,该文提出了一种广义的监督局部保留投影算法(GeneralizedSupervisedLocalit
2、yPreservingProjection,GSLPP1.GSLPP在大样本情况下等价于SLPP,在小样本情况下却可以等价转换到一个低维空间中来求解,从而有效解决了小样本问题.最后,实验结果验证了该方法的有效性.关键词:特征提取;局部保留投影;监督局部保留投影中图分类号:TP391文献标识码:A文章编号:1009—5896(2009)08—1840—06GeneralizedSupervisedLocalityPreservingProjectionWangXiao--mingWangShi—-tong(School
3、ofInformation,JiangnanUniversity,Wuxi214122,China)Abstract:SupervisedLocalityPreservingProjection(SLPP)isageneralizationofLocalityPreservingProjection(LPP)inthecaseofsupervisedlearning.InthispaperthedrawbackofSLPPinthehigh-dimensionalandsmallsamplesizecaseispoi
4、ntedoutandanewalgorithmcalledGeneralizedSupervisedLocalityPreservingProjection(GSLPP)isproposed.TherelationshipbetweenSLPPandGSLPPistheoreticallyanalyzed.InthesmallsamplesizecaseGSLPPcanbesolvedequivalentlyinlower—dimensionalityspace.Finally,theeffectivenessoft
5、heproposedalgorithmisverifiedbyexperimentalresults.Keywords:Featureextraction;LocalityPreservingProjection(LPP);SupervisedLocalityPreservingProjection(SLPP)1引言模式识别和机器学习中,经常会遇到数据特征的高维问题,亦即人们所说的"维数灾难"fCurseofDimensionality1.为了有效地进行数据分析,数据特征维数的降低就显得异常重要.特征选择(Featu
6、reselection)SH特征提取(Featureextraction)就是特征降维的两种主要方法[1]o特征提取又可以根据使用训练样本的类标与否来分为监督和无监督的特征提取.最近,一种叫做局部保留投影fLocalityPreservingProjects,Lpp)[z,31新的特征提取降维方法被提出,其主要是针对无监督的情况.Shen等人在文献f41中指出,由于LPP没有使用类标从而使得不同类别而又靠得较近的数据在投影后还是靠得较近.针对这种情况,文献f41中作者提出了监督的局部保留投影算法(Supervised
7、LocalityPreservingProjects,SLPP),在一定程度上解决了这个问题.SLPP形式上类似于2008—07-24收到,2009—03—09改回国家863计划项目(2007AA1Z158,2006AA10Z313)和国家自然科学基金(607O4047)资助课题Fisher判别分析(FisherDiscriminantAnalysis,FDA)[5,】,其优化问题最终也转换为一个广义特征值问题.但是同FDA一样,其主要的问题是在小样本情况下会遭遇到矩阵的奇异性问题,从而不能直接用广义特征值问题来求解
8、.然而,在实际应用中经常会遇到小样本情况,如在人脸识别问题中.因此,针对小样本问题,进一步研究和探讨怎么来改进SLPP显得十分必要.针对上述情况,本文在SLPP的基础上提出了一种叫做广义的监督局部保留投影算法(GeneralizedSupervisedLocalityPreservingProjects,GSLPP).GSLPP在大样本情况下等
