基于NMF和LPP的降维方法

《基于NMF和LPP的降维方法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、2011年11月吉林师范大学学报(自然科学版)No．4第4期JournalofJilinNormalUniversity(NaturalScienceEdition)Nov．2011基于NMF和LPP的降维方法董焕，闫德勤(辽宁师范大学数学学院，辽宁大连116029)摘要：NMF是一种近年来常用的降维方法．NMF在图像检索、人脸识别和信号处理等方面得到广泛的应用，其分解后所产生的分量的非负性要求，使数据处理得到很好的效果．NMF在分解过程中未考虑到数据的内在几何性质和局部结构，就存在着不能准确的处理数据的问题．本文提出一种把

2、NMF与LPP相结合的降维方法．该方法应用在图像检索上，因为u)P能够保留数据的内在几何性质和局部结构，降低影响图像检索的的因素，从而提高了图像检索的效率．再从Corel数据库进行实验，来证明此方法确实能够提高了检索准确性．关键词：NMF(~负矩阵分解)，LPP(局部保留映射)，图像检索，K-means聚类中图分类号：TP391．4文献标识码：A文章编号：1674．3873．(2011)04．0060-040引言计算机技术、多媒体技术以及Intemet技术的长足发展导致了大量图像的出现，如何有效地、快速地从大规模图像数据库中

3、检索出所需的图像是目前一个相当重要又富有挑战性的研究课题．基于内容的图像检索技术研究正是为了解决如何有效地从图像数据库中检索出相关图像的问题．近年来，此项技术的研究非常活跃，在许多领域都有应用．图像检索中的特征选择技术实际就是对图像降维，但是习惯上我们把特征之间作关联处理后进行提取的方法称为图像降维(或特征提取)；对于从众多图像特征中选取最重要的部分特征来表示图像的方法，我们一般将之称为特征选择方法．特征选择是数据预处理中，一个重要而且经常采用的方法，它删除了无关、冗余和噪声数据，减少了特征数，可以明显提高学习算法的效率．N

4、MFE是由Lee和Seung于1999在Nature上提出的，它使分解后的所有分量均为非负值(寻求纯加性的描述)，从计算的角度看，矩阵分解的结果可以存在负值，但在实际应用中往往缺失物理意义．NMF提出使分解结果中不出现负值，具有可解释性和明确的物理意义，使其在图像检索中有着广泛的应用．K．means聚类本质上反映了类内之间的关系，而正交的NMF分解过程是与K—means聚类是等价的．NMF忽略了数据的内部结构，为了提高NMF算法图像检索率，加入一个量LPP．LPpEj(局部保留映射)在数据处理时可以保留数据的内在几何性质和局

5、部结构补充了NMF的不足，其可以表示为类间的关系，因此采用NMF与LPP相结合的方法进行图像检索．非负矩阵分解算法描述为：假设有m个图像，分别为l，，⋯，其中(1≤i≤m)∈，为第i幅图像的数据．将m个图像结合在一起构成所有的图像的数据V=[，2，⋯，]其中VER，要对其进行降维处理，NMF使其为两个非负矩阵积的形式(WH)n=∑WikUkf，其中r为矩阵分解的秩，为n×r维的非负矩阵分解的图像矩阵，为r×m维的非负矩阵分解的系数矩阵，要求使矩阵和，通过下面的目标函数：min1lV—WH(1)0≤，H通过迭代的方法求得，日．

6、收稿日期：2011-09—29基金项目：中国科学院自动化研究所复杂系统与智能科学重点实验室开放课题基金(20070101)，辽宁省教育厅高等学校科学研究基金(2008344)第一作者简介：董焕(1985一)，女，山东省郓城县人，现为辽宁师范大学数学学院硕士研究生．研究方向：数据降维、模式识别及图像检查．·60·通过定理来证明正交的NMF和K．means聚类在形式上是等价的．定理：正交的NMF，minllV—WHIJ，s．t．HHT=I等价于K．means聚类．证明：．，=lIV—WHll=(一2WTVHT+wT)．初始条件O

7、J／3F=一2+2W=0得到W=VIIT因此：Tr(vTv—HVTVHT)由于()是不变的则优化问题变为minTr(HVTVHT)s．t．啊=I．H≥0nK—means聚类最小化‘，=liz—Ckif：Gill—cII其中Ck是第个聚类的聚类中心．一般的核均值为映射Xi一()最小化”如=_I(Xi)一ll=Gi(Xi)一面J(1l。一⋯k一一其中是特征空间的中心，G是聚类指标矩阵：如果∈则G腩=1否则G=0正规化使e=G(GTG)那么解决的优化问题变为iIlaxTr(eW)，其中()(xj)是核心，由K—means~=，．0

8、>0(f)=，x,~xj．由此可以看出正交的NMF和K-means均值在形式上是等价的，K-means聚类表示成类内之间的关系，所以希望能够找到类间的关系的量是其相结合．这里就引入了LPP和LDA的关系．2局部保持投影(U)P)LPP是一种最近提出的用于流形学习的算法，它被提出的最初目的是