流形学习的理论与方法研究

《流形学习的理论与方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、洳专：j、蘧博士学位论文⑧论建题昏流形学习的理迨皇立法丛窒作者姓名垂煎．指导教师．：堂垂瑟．夔堡学科(专业)盐箕垫堂所在学院理学院——提交日期2006年4月矗H^_D◆o_u■量一曩■。：_j：I．．。鬟书豁錾黔b浙江大学博士学位论文需要注意的是，邻域之间需要有足够的交叠以保证较远的点之间有足够的联系，这又使得邻域不能过小。从直观上想像，流形上曲率大的样本点的邻域应该小一些，而流形上曲率小的怿本点处的邻域可以大⋯些。因此．关于邻域选取的主要困难在于：存加强样本点之间的关联性的时候，应该如何自适应的选取邻域以匹

2、配流形的局部几何性质?此外，流形上的曲率以及样本点密度的变化，不可避免的会使得所寻找的局部邻域结构产生偏差。在利用这些局部邻域结构来构造全局的低维嵌入时，需要将这些偏差计入考虑范围。因此，流形学习还面临着这些问题：如何估计流形上的曲率?如何估计流形曲率和样本点密度的变化对寻找局部邻域结构的影响?在利用局部邻域结构来构造全局的低维嵌入时，应该如何计入这种影响以减轻低维嵌入的偏差?对于上述问题，本文给出了较完善的解答。本文的主要贡献如下：1．我们对LLE的重构权向量的性质进行详细的分析，在理论上证明了(用正则化方

3、法)确定晟优权在数值上是不稳定的，同时在给定精度下，存在着多组线性无关的近似最优权向量。2．我们提出了修正的局部线性嵌入方法(ModifiedLocallyLinearEmbeddingUsingMultipleWeights，简称MLLE)，采用线性无关的权向量来建立邻域内稳定的局部线性结构，并在低维嵌入中保持这种局部线性结构。MLLE改善了LLE方法的稳定性和有效性。3．我们从理论上证明了MLLE对采自等距流形的样本点有着理想的结果，通过MLLE和u1SA之间的详细对比和理论分析，揭示了LLE、MLLE和

4、LTSA之间的内在联系。这为进一步理解与分析建立了基础。4．我们提出了自适应邻域选取的方法，以解决非线性降维方法中面临的邻域选取的难题。基于邻域局部线性逼近的分析，我们给出了决定邻域集是否能在一个给定精度内被一个线性拟合所逼近的标准。进而提出两个算法(采用邻域压缩和邻域扩张策略)来选取能够满足这个标准的邻域。我们的方法从理论上保证了所选出的邻域在匹配流形的局部几何性质的前提下，能够尽可能地扩张邻域以加强样本点之间的关联性。自适应邻域选取方法能适用于所有基于邻域的流形学习方法。5．我们给出估计流形局部曲率的方法

5、，并通过引入流形的局部曲率来修正LTSA中的极小化模型。这个改进能减少LTSA造构造全局嵌入的偏差。结合自适应的邻域选取和曲率修正，我们提出了一种自适应的流形学习方法一自适应局部切空间排列方法(Adaptivelocaltangentspacealignment，简称ALTSA)。虽然曲率模型是针对LTSA而设计，但我们相信所提出的基本思想也能适用于其它的流形学习方法。6．我们给出了大量的数值例子(模拟例子和实际例子)，通过将我们提出的算法与II中文摘要Isomap、LLE和LTSA的对比和分析，从数值上说明

6、了本文所提出的这些新方法的有效性。篼键词：重构权、局部切空间排列、自适应邻域选取、减少偏差．曲率和切空间ⅡIAbstractWjththeprogressofscience．especiallythedevelopmentofinformationalindustry,weenterabrand-newinformationage．Whendoingresearchminformationage，oneisinevitablyconfrontedwithlargevolumesofhJ。gh—dimensio

7、naldata，suchasglobalclimatepatterns，imageclassificationsystem,textclusteringandgeneexpression．Inreal—worldapplications，observationsrepresentedashigh—dimensionaldataorvectorscartbemodeledassampleslyingonorclosetoatow—dimensionalnonlinearmanifoldpossiblywithn

8、oise．Hence，datareductionespeciallynonlineardimensionalityreduc—tionisanimportanttoolofdatamining，andthegoalofdimensionreductionistofindthelowdimensionalstructureofthenonlinearmanifoldfromthehighdimensi