流形学习的统一框架及其在模式识别中的应用

《流形学习的统一框架及其在模式识别中的应用》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、中山大学博士学位论文流形学习的统一框架及其在模式识别中的应用姓名：鲁春元申请学位级别：博士专业：信息计算科学指导教师：冯国灿20090606摘要流形学习的统一框架及其在模式识别中的应用专业：信息计算科学博士生：鲁春元导师：冯国灿教授随着信息时代的到来，人们获得了方便的信息提取于段，也面临着复杂的海量数据处理的问题，尤其是面对模式识别、数据挖掘、图像处理与机器学习领域中的海量数据时。这些数据往往都呈现出高维数、高增长率、难以被人感知的特点。因此如何从这些数据中合理有效的找到对人们有用的信息成为亟待解决的问题。数据降维是一种有效的处理

2、手段。降维就是要在保持数据信息尽量完整的条件下合理的降低数据的维数。通过发现和描述数据内部的规律来降低数据维数，从而满足人们压缩、存储、感知和进一步复杂处理的需要。传统的降维方法往往都假定数据的分布具有全局线性特性。其中广泛应用的有：独立分量分析(ICA)，主成分分析(PCA)和线性判别分析(LDA)等等。显然这种假设大大限制了传统降维方法的能力。当面临的真实数据大多是呈现相互关联，非线性化的结构时，传统的降维方法显得越来越无能为力。近年来，一类具有代表性的非线性降维算法，如等距流形映射(ISoMAP)、局部线性嵌入(LLE)等方

3、法的提出，引起了人们极大的兴趣。由于这类算法的能够发现嵌入在高维空间中的低维流形结构，所以也把这类算法叫做流形学习算法。中lJ1人学博上学位论文流形学习的统一框架及其在模式识别rll的应用流形学习是一种新的机器学习与认知科学的方法。它的主要目标是发现嵌入在高维数据空间的低维光滑流形表示及其嵌入规则。目前，流形学列算法已经成为降维领域的一个研究热点，并且流形学习算法在高维数据可视化、人脸识别和文本分类等领域取得了一定的效果。本文针对几种有代表性的流形学习算法进行了深入的研究，主要探讨了流形学习的框架理论相关研究及其在模式识别中的应用

4、。在理论方面本文做出了两方面的工作。一是构造了一个统一框架，将传统的线性降维算法如主成分分析(PCA)、线性判别分析(LDA)与流形学习算法如ISOMAP、LLE、保近邻嵌入(NPE)、拉普拉斯特征映射(LE)、保局投影(LPP)与边界费舍尔分析(MFA)等统一到这个框架之下。并在提出的统一框架下构造了一个新的流形学习算法一一子流形保形分析(Sub—ManifoldPreservingAnalysis，简称SMPA)。该算法不仅适于数据可视化，也适于模式分类。实验结果表明该算法优于其他算法。二是摆脱传统核方法在核函数上的制约，构造

5、出了数据上的最优流形核矩阵。本文通过将本文框架下的流形学习转变为一个半正定规划问题，通过半正定规划的技术构造最优核矩阵。实验结果显示了该方法的有效性。在应用方面，本文针对目前流形学习算法在模式识别应用中稳定性较差，识别率不高的情况，结合AdaBoost方法，提出了一套新的最优分类流形子空间的人脸识别方法。另外，本文还提出了一种基于流形分值的特征选择方法。总的来说，本文的主要贡献包括以下五个方面：1．本文对几种有代表性的流形学习算法进行了深入的研究，提出了基于度量的流形学习算法的统一框架。该框架能够将现有的降维算法(PCA、LDA等

6、线性算法与ISOMAP、LLE、NPE、LE、LPP、MFA等非线性降维算法)统一起来，更好地解释与比较各个算法的优劣。2．在本文提出的框架下，能够根据不同的目的衍生出不同的算法。由此本文提出了一个用于数据可视化与分类的新算法一一子流形保形分析(SMPA)。该算法旨在进行分类的情况下，保持多类数据中的子流形结Il摘要构。实验验证了该算法的有效性。3．在模式分类中，数据的特征极为关键，本文提出了基于本文框架下流形学习的流形分值特征选择。这种特征选择方法在模式识别应用上显示了较好的效果。4．本文突破传统核方法在核函数上的制约，通过半正

7、定规划(SDP)构造最优流形核矩阵。相关实验结果显示了该方法的有效性。5．本文结合AdaBoost方法，提出了一套新的最优分类流形子空间的人脸识别方法。该方法不仅能提高识别率，而且具有很好的稳定性和抗光照能力。关键词：流形学习，框架，特征选择，核技巧，半正定规划，模式识别IIIAbstractAUnifiedManifoldLearningFrameworkanditsApplicationsinPatternRecognitionMajor：Informatics&ComputationalScienceName：LuChuny

8、uanSupervisor：Prof．FengGuocanNowadays，peoplearefacingwithalotofmassiveinformation，especiallyinthefieldsofpattemrecognition，d