资源描述：
《非负矩阵分解及其在模式识别中的应用1》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、评述第51卷第3期2006年2月非负矩阵分解及其在模式识别中的应用**†刘维湘郑南宁游屈波(西安交通大学人工智能与机器人研究所,西安710049.*同等贡献.†联系人,E-mail:qbyou@aiar.xjtu.edu.cn)摘要矩阵分解是实现大规模数据处理与分析的一种有效工具.非负矩阵分解(non-negativematrixfactorization,NMF)算法是在矩阵中所有元素均为非负的条件下对其实现的非负分解,这为矩阵分解提供了一种新的思路.非负矩阵分解方法在智能信息处理和模式识别研究领域具有十分重要的应用意义.本文介绍非负矩
2、阵分解的基本思想和一些最新的研究成果,结合研究工作讨论在概率模型的框架下实现非负矩阵分解的目标函数和相应的算法,以及非负矩阵分解与知觉过程信息处理的关系,针对模式识别的实际问题给出具体的非负矩阵分解的应用实例,并提出非负矩阵分解及其应用中有待进一步研究的新问题.关键词非负数据特征提取非负矩阵分解入侵检测数字水印脑电信号处理[1]矩阵分解在很多领域获得了广泛的应用,在数类大脑的信息处理机制或对人的认知过程、心理以及值代数中,利用矩阵分解可以将规模较大的复杂问生理方面的研究成果.人类大脑对外界事物整体的题转化为小规模的简单子问题来求解;在应用
3、统计感知是建立在对其部分感知基础之上的.然而,大脑学领域,通过矩阵分解得到原数据矩阵的低秩逼近,是如何实现这种对部分的感知?我们又如何利用计从而可以发现数据的内在结构特征.在机器学习和算机来模拟这种功能?非负矩阵分解方法为解决这[2]模式识别的应用中,矩阵的低秩逼近可以大大降低类问题提供了一种新的思路.在非负性约束下,对非数据特征的维数,节省存储和计算资源.负数据进行非负分解,采用简单有效的乘性迭代算[3]1999年Lee和Seung在Nature上发表了非负矩法,通过学习得到的基向量中含有关于物体的局部阵分解算法,该算法是在矩阵中所有元
4、素均为非负特征的信息.与传统的主成分分析(PCA)相比,非负的条件下对其实现非负分解.从计算的角度来看,矩矩阵分解的结果合乎大脑感知的直观体验,并具有阵分解的结果中可以存在负值,但负值元素在实际明确的物理含义.问题中往往缺失物理意义.非负矩阵分解方法则提1非负矩阵分解的定义供了一种新的矩阵分解思路,由于其分解算法实现简便,分解的结果中不出现负值,而且具有可解释性信息或信号处理的许多数据具有非负性的特点,和明确的物理意义,以及占用存储空间少等优点,已如灰度图像、物质成分含量、文章中单词出现的次数经引起许多科学家和研究人员的广泛重视.通常,信
5、和统计学中的概率转移矩阵等.在用线性表示方法息的表示或编码的各种方法基本上可分为线性和非处理这类数据时,往往要求分解的结果(包括基向量线性两大类.线性表示方法是将信号分解为一组基和系数)都是非负的.此时若采用传统的因子分析方本信号的线性加权组合,其中基本的信号称为基信法,如主成分分析,因为其结果中含有负数而失去了号,对应的权重称为组合系数.根据基信号的特点,物理意义,而采用非负(正)矩阵分解方法就可以避免[4]这种线性表示方法又可以分为两种:一种是其基信这一点.号是固定的,与处理的数据无关,如傅里叶分析和小非负矩阵分解是一种多变量分析方法
6、.假设处波分析方法;另外一种是基信号与处理的数据相关,理m个n维空间的样本数据,用Xn×m表示.该数据如主成分分析和独立分量分析.本文介绍的非负矩矩阵中各个元素都是非负的,表示为X≥0.对矩阵阵分解方法是后一种表示方法.Xnm×进行线性分解,有在人工智能、机器学习以及计算机视觉和模式识XBnm×≈n×rCr×m,(1)别等研究领域,为了提高算法或系统的“智能”水平其中Bnr×称为基矩阵,Cr×m为系数矩阵.若选择r比而提出的一些智能计算理论和模型,大多借鉴于人n小,用系数矩阵代替原数据矩阵,就可以实现对原www.scichina.com2
7、41第51卷第3期2006年2月评述数据矩阵的降维,得到数据特征的降维矩阵,从而减∂LED=−2,⎡⎤()XCTT−(BCC)少存储空间,节约计算资源;从数据编码表示来看,∂Bik⎢⎥⎣⎦ikik(9)以基矩阵为码本,则系数矩阵就为相应的编码系数.∂LED⎡⎤TT∂=−2,⎢⎥⎣⎦()BX−(BBC)文献[3]从矩阵分解的角度就主成分分析、向量量化、Ckjkjkj独立分量分析和非负矩阵分解作了讨论.[6]于是可以得到如下的加性迭代规则:2非负矩阵分解的算法B←+Bφ⎡⎤()XCTT−(BCC),ikikik⎢⎥⎣⎦ikik为了实现矩阵的非
8、负分解,首先需要定义一个(10)⎡⎤TT损失函数来刻画分解前后的逼近程度,然后在非负CCkj←+kjϕkj⎢⎥⎣⎦()BX−(BBC).kjkj性约束下求解.最早提出的正矩阵分解方法采用传Bi
