维数约简研究及其在特征提取中的应用

《维数约简研究及其在特征提取中的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、维数Ph．D．Dissertation／㈣ResearchonDimensionalityReductionandItsApplicationinFeatureExtractionf1·o，3upen’lstonDvProf．YangJing-yuNanjingUniversityofScienceandTechnologyMarch，2012声明本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使用过的材料。与我一同工作的同事对

2、本学位论文做出的贡献均已在论文中作了明确的说明。研究生签名：二纠二年一多月上p日学位论文使用授权声明南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密论文，按保密的有关规定和程序处理。研究生签名：多力工年多月j矿日及其在特征提取中的应用摘要面对日益增长的海量数据，人们越来越多地依赖计算机智能化地从数据中得到问题解决所需要的有用信息。作为智能化数据分析的重要手段，维数约简技术不仅有效减低了处理过程的计算复杂度，也显著提高了数据分析

3、的准确性和有效性。维数约简技术广泛应用于模式识别和计算机视觉领域，其中基于维数约简的特征提取已成为解决诸多相关问题的关键因素。尽管关于维数约简的研究已取得丰富的成果，但当前数据呈现出的高维数和多模态特点带来了新的挑战。在人脸图像识别、视频序列分析、文本与图像检索等实际应用的驱动下，维数约简技术通过对现有方法进行完善或探索新的理论方法获得了进一步的发展。本文立足于当前的数据形势，深入研究了关于向量数据和高阶数据的维数约简技术及其在特征提取中的应用问题。作为维数约简研究的一些新成果，本文提出的算法在数据可视化和人脸识别中得到了较好的应用。流形嵌入是目前非监督向量

4、数据降维的研究热点，在探索数据的潜在结构上该方法具有优势。然而流形嵌入方法无法获得数据空间到低维特征空间的显式映射关系，故难于对新数据进行维数约简。针对这个问题，本文提出了面向流形的随机近邻投影(MSNP)用于非监督特征提取。MSNP算法在随机近邻嵌入(SNE)算法的启发下提出，基本想法是改善SNE算法的非线性流形展开能力和用显式的线性投影近似流形嵌入的非线性映射以适于特征提取任务。本文分析了SNE算法的不足，在以下三个方面进行了改进和完善：(1)提出在数据空间中用测地线距离代替欧氏距离构建随机近邻选择概率，从而提高了描述数据相似关系的准确性。(2)提出在低

5、维特征空间使用柯西分布代替学生t分布构建随机近邻选择概率，以增强算法对数据的适应性。(3)在近邻概率分布保持的原则下引入线性投影得解决了新样本的维数约简问题，同时基于共轭梯度的迭代解法简明直观并具有比SNE更快的收敛速度。本文通过数据可视化、人脸识别和掌纹识别实验考察了MSNP的算法性能，包括投影基的性质、算法收敛性和特征提取能力。实验结果证明本文所提出的MSNP算法是一种有效的非监督向量数据降维方法，具有挖掘数据复杂模式的能力。在监督化向量数据降维方面，局部化线性鉴别分析方法考虑了数据的局部结构信息，提取鉴别特征的能力强于传统的全局线性鉴别方法。经过深入研

6、究，本文发现已有的局部化线性鉴别方法普遍存在模型参数多且不易设置的问题。针对此问题，本文对局部线性鉴别分析的自适应问题进行了探索研究。本文提出了由同类局部近邻样本确定的局部邻域概念，其中的异类近邻样本能够自动被确定。在新的局部邻域内，同类和异类样本的分布反映了数据集不同局部的数据特性。据此，本文发展出了一种自适应的局部线性鉴别方法。该方法采用差分鉴别模型，模型中反映同类样本和异类样本权重的参数由局部近邻的特性自动设置。由于只需要同类近邻样本数这一个参数，本文提出的算法大大提高了局部线性鉴别分析在特征提取上的可用性。擅要博士学位论文通过对人脸识别实验结果的分析

7、，本文发现与已有的局部线性鉴别算法相比，所提出的自适应算法多数情况下能提升所得特征的鉴别能力，即便在训练数据极端少的情况下也取得了与已有方法相当的识别效果。对于如图像和视频这一类的高阶数据，近几年兴起的张量化维数约简方法基于数据的张量模型利用多重线性投影以获得数据的线性结构。尽管也出现了如张量LPP和张量NPE这样的方法试图获取张量数据的非线性结构信息，但基于多重线性投影的降维方式导致非线性结构信息在降维过程中不可避免地遭到损失。本文从张量数据采样自低维非线性流形的假设出发，提出了一种直接获得张量数据的低维嵌入(即参数化坐标)的非监督降维算法。该算法利用局部

8、秩一张量投影所得到的低维向量来刻画张量数据的局部线性