高维数据内在结构保持的非负矩阵分解方法

《高维数据内在结构保持的非负矩阵分解方法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、高维数据内在结构保持的非负矩阵分解方法重庆大学硕士学位论文（专业学位）学生姓名：孙山林指导教师：张太平副教授学位类别：工程硕士（计算机技术领域）重庆大学计算机学院二O一六年四月IntrinsicStructurePreservingNon-negativeMatrixFactorizationMethodforHighDimensionalDataAThesisSubmittedtoChongqingUniversityinPartialFulfillmentoftheRequirementfortheMaster’sDegreeofEngineeringBySun

2、ShanLinSupervisedbyAssociateProf.TopZhangSpecialty:ME（ComputerTechnologyField）CollegeofComputerScienceofChongqingUniversity,Chongqing,ChinaApril,2016重庆大学硕士学位论文中文摘要摘要非负矩阵分解理论（NonnegtiveMatrixFactorization，NMF）是当今学术研究的热点问题。与其他矩阵分解方法不同，NMF从“个体构成总体，局部构成整体”的角度出发，将一个非负数据矩阵分解为两个非负矩阵（一为基矩阵、一为系

3、数矩阵）相乘。这种概念正与人类认知事物的原理相吻合。由于非负矩阵分解方法分解非负矩阵后得到的基矩阵和系数矩阵都是非负的，所以分解的结果具有很强的可解释性，这一点与传统的矩阵分解（比如奇异值分解SingleValueDecomposition,SVD）不同，传统的矩阵分解会出现负数的情况，以至于缺乏相应的物理解释。这种可解释性使得非负矩阵分解方法在图像处理，数据挖掘，环境监测，化学计量学，多媒体分析等领域都得到了广泛的应用。从降维的角度讲，分解后的基向量就是低维空间中新的基，原始数据可以表示为这组基的一个线性组合，因此可以通过选取适当参数，我们能得到原始高维数据的一个

4、低维描述，达到数据维数约简的目的。本文深入地研究了非负矩阵分解方法，在此基础上，提出了一种高维数据内在结构保持的非负矩阵分解模型以及快速梯度下降求解算法。本文在标准非负矩阵分解算法的目标函数上添加一个正则项，使得新的非负矩阵分解算法具有高维内在结构在低维空间中得到保持的能力。这个正则项中使用核函数密度估计的方法来描述原始数据和分解后低维描述中的密度分布。本文分别利用高斯和柯西核密度估计来估计原始数据和低维表示的数据分布，然后利用K-L(KullbackLeiblerdivergence)散度作为衡量两个密度分布的相似性。为了使分解后低维描述和原始数据在结构上（在这里

5、就是密度分布）尽可能地保持一致，正则项的模型就是最小化两个密度分布的K-L散度。然后通过比较人脸图像聚类实验结果验证了算法具有在低维空间中保持高维数据内在结构的性质。本文提出了一种新的基于梯度下降的快速收敛算法。传统的梯度下降方法步长是固定的，如果步长设置的太小，那么就会增加迭代的时间，导致求解的过程时间增长，如果步长设置的太大，那么容易错过最优解，对算法达不到收敛。本文提出的算法在每次迭代之前都要计算本次迭代的最优步长。目标函数每次迭代都按照最优步长来下降。本文通过相关实验，验证了本文提出的梯度下降方法具有收敛性，收敛速度快等特点。关键词：非负矩阵分解，核密度估计

6、，K-L散度，内在结构保持，梯度下降I重庆大学硕士学位论文英文摘要ABSTRACTNon-negativematrixfactorization(NMF)isahotresearchtopicinthefieldofpatternrecognitionandmachinelearning.Unliketheothermatrixdecompositionmethods.NMFfactorizesanonnegativematrixintotheproductoftwononnegativematrices(oneisbasismatrix,anotherisweig

7、htmatrix).Thenonnegativeconstraintsleadtoasparselydistributeddatacodingthatmightbeusefulforextractingparts-basedrepresentationofdatapatternswithlowfeaturedimensionality.Inthisregard,NMFagreeswithhumanvisualperceivesystem.Theclassicalmatrixdecomposition,suchasSingleValueDecomposition(