流形学习及其算法分析

《流形学习及其算法分析》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、流形学习及其算法分析（山西农业大学信息科学与工程学院，山西太谷030801）中国8/vie　　摘要：流形学习作为机器学习、数据挖掘及模式识别领域近年来的一个研究热点，其本质在于找出嵌入在高维空间中的低维光滑流形，揭示隐藏在高维数据中的内在低维结构，以实现非线性降维。介绍了流形学习的基本思想，分析、比较了等距映射（Isomap），局部线性嵌入算法（LLE），拉普拉斯特征映射算法（LaplacianEigenmap）和局部保留投影等几种常用流形学习算法的研究成果及优缺点，提出了流形学习中的一些问题，以利于更好地进行数据的降维与分析。　　关键词：流形学习；等距离映射；局部线性嵌入；拉普拉

2、斯特征映射；局部保留投影　　中图分类号：TP301文献标志码：A：1006-8228（2017）04-01-04　　Abstract：Inrecentyears，manifoldlearninghasbeeahotissueinthefieldofmachinelearning，dataminingandpatternrecognition.Theessenceistofindtheloensionalsmoothmanifoldembeddedinthehigh-dimensionaldataspace，revealtheintrinsicloensionalstructures

3、inhighdimensionaldata，inordertorealizethenonlineardimensionalityreduction.Thispaperintroducesthefundamentalideas，analyzesandparestheresearchresultsandtheadvantagesanddisadvantagesoffourmanifoldlearningalgorithms，suchasIsomap，LocallyLinearEmbedding，LaplacianEigenmapandLocalityPreservingProjecti

4、on，andputsforeproblemsinmanifoldlearning.Thepurposeistounderstandthecharacteristicsofthesemanifoldlearningalgorithmsinordertobetterreducethedatadimension.　　Keyanifoldlearning；Isomap；LocallyLinearEmbedding；LaplacianEigenmap；LocalityPreservingProjection　　0引言　　�S着信息科学技术的发展和信息时代的到来，信息量越来越大，信息种类越来越

5、复杂，信息数据的维数也越来越高，如何快速的对信息进行有效的处理并能够提取出有效的信息是当今社会的一个重要研究课题。如今数据降维在许多领域起着越来越重要的作用。流形学习的主要思想就是将高维的数据映射到低维，使该低维的数据能够反映原高维数据的某些本质结构特征。流形学习（Manifoldlearning）是机器学习、模式识别中的一种方法，在维数约简方面具有广泛的应用[1]。　　1流形和流形学习　　1.1流形　　流形是线性子空间的一种非线性推广，是一个局部可坐标化的拓扑空间。流形是拓扑学的一个概念，拓扑空间是拓扑学最基本的研究对象：设集合X上的拓扑τ是X的满足以下性质的子集族①τ对属于它的

6、任意多元素的并集是封闭的；②τ对属于它的有限多元素的交集是封闭的；③φ∈τ且X∈τ则称（X，τ）是一个拓扑空间。如果对空间（X，τ）中的任意两点x≠y存在A∈和B∈使得A∩B=φ，则称（X，τ）是一个Hausdorff拓扑空间。设M是一个Hausdorff拓扑空间，若对每一点p∈M都有P的一个开领域U和Rn的一个开子集同胚，则称M为n维拓扑流形，简称为n维流形[2]。　　1.2流形学习　　在对流形的定义理解的基础上，我们可以简单概括流形学习这一个降维的过程：假设数据是均匀采样于一个高维欧氏空间中的低维流形，流行学习就是从高维采样数据中恢复低维流形结构，并求出相应的嵌入映射，以实现数

7、据降维。用数学语言描述如下：设Y∈Rd是一个低维流形，f：Y→RD是一个光滑嵌入，其中D>d。数据集{yi}是随机生成的，且经过f映射为观察空间的数据{x=f（yi）}。流形学习就是在给定观察样本{xi}集的条件下重构f和{yi}[3]。如图1所示。　　2流形学习中的经典算法及分析　　数据降维方法可以分为两种：线性降维方法和非线性降维方法。线性降维理论主要有Fisher判别分析（FDA）、主成分分析（PCA）、多维尺度分析（MDS）、独立分量分析（ICA）之类。线性方