数据降维算法研究及其应用

《数据降维算法研究及其应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、上海交通大学博士学位论文数据降维算法研究及其应用姓名：张田昊申请学位级别：博士专业：模式识别与智能系统指导教师：杨杰20080601JtT·0·数据降维算法研究及其应用摘要近年来，高维数据经常出现在科学界和产业界相关的领域，如计算机视觉、模式识别、生物信息以及航空航天等。当我们处理这些数据时，它们的高维属性往往会成为处理和应用这些数据的障碍，这表现在与之相关的计算复杂度较高并且结果并不是最优。降维是将数据由高维约减到低维的过程而用来揭示数据的本质低维结构。它作为克服“维数灾难"的途径在这些相关领域中扮演着重要的角色。在过去的几十年里，有大量的降维方法被不断地提出并被深入研究，其中常用的包

2、括传统的降维算法如PCA和LDA；流形学习算法如LLE、ISOMAP、LE以及LTSA。但是，大多数现存的方法仍然受制于各种各样的问题，比如，小样本问题、outofsampleproblem问题、样本的非线性分布问题以及分类问题等等。为了解决这些问题，在本文中，作者提出了一系列的新算法、改进算法、新的降维框架以及在该框架的基础上开发的新算法。本文的主要贡献在于：1．本文提出了一个新的线性降维算法，线性局部切空间排列(LLTSA)。该算法运用切信息作为数据的局部表达，然后将这些局部信息在可以用线性映射得到的低维空间中排列。LLTSA可以看作是LTSA的线性逼近。2．受流形学习算法中的局部保

3、存思想的启发，我们提出了一种新的降维算法，最大方差映射(MVP)，用于人脸识别。该算法通过对流形上局部几何的捕捉来实现局部信息的表达和保存；除了流形学习的特性以外，基于对类别信息的利用，该算法还具备判别能力。3．本文提出了一种新的多模型生物特征识别系统。在该系统中，中文摘要J’T’V+我们提出了一种专门应用于多模型问题的降维算法，几何保存映射(GPP)。GPP是一个判别的算法，同时它能够通过捕捉模型内部的几何结构来有效地保存几何信息。4．受LTSA算法的启发，本文提出了一种新的流形学习算法，局部坐标排列(LCA)。LCA通过保存片上的邻域关系从而得到局部坐标作为局部邻域的表达，然后将这些

4、提取的局部坐标运用排列技术在全局中排列从而得到最终的嵌入坐标。另外，为了解决outofsample问题，我们将线性逼近方法应用于LCA，即线性LCA(LLCA)。5．本文提出一个能够统一各种基于谱分析的降维算法的框架，其命名为“片排列"。该框架的内容包括两个阶段：部分优化和整体排列。对于部分优化，每一个算法在构建的片上具有不同的优化目标，所构建的片是由某一个给定的点和一些相联系的点构成。对于整体排列，所有的片上部分优化通过运用排列技术被集成化到一起而构建最终的全局坐标。作为该框架的一个应用，我们通过在部分优化过程中施加判别信息，从而开发了一个新的降维算法，判别局部排列(DLA)。本文对统

5、一框架下各种算法进行了讨论并验证了DLA算法。6．为了提高正交邻域保存映射(oNPP)的分类性能，在基于片排列框架下，本文提出了一种改进的降维算法，命名为判别正交邻域保存映射(DONPP)。另外，本文通过并入额外的无类标标号的样本点，将DONPP延伸到半监督的情况，也就是半监督判别正交邻域保存映射(SDONPP)。图像分类及人脸识别的实验分别验证了DONPP和SDONPP的有效性。关键词：降维，流形学习，机器学习，模式识别IIJ·Tt0·岁荸麦至声謦博士学位论文RESEARCHONDIMENSIONALITYREDUCTIoNALGoRITHMSANDITSAPPLICATIoNSABS

6、TRACTRecently,datasetsofhighdimensionalityhavebeenemerginginmanydomainsofscienceandindustry，suchascomputervision，paRernrecognition，bioinformatics，andastronomy．Whendealingwiththesetypesofdatasets，thehighdimensionalityisoftenanobstacleforanyefficientprocessingofthedata．Theoperationsonthemarecomputa

7、tionallyexpensiveandtheresultsmaybenotoptimal．Dimensionalityreductionistheprocessoftransformingdatafromahighdimensionalspacetoalowdimensionalspacetorevealtheintrinsicstructureofthedistributionofdata．Itplaysacrucialrole