非负矩阵分解算法概述之lee&seung的世界

非负矩阵分解算法概述之lee&seung的世界

ID:18323804

大小:1.38 MB

页数:10页

时间:2018-09-16

非负矩阵分解算法概述之lee&seung的世界_第1页
非负矩阵分解算法概述之lee&seung的世界_第2页
非负矩阵分解算法概述之lee&seung的世界_第3页
非负矩阵分解算法概述之lee&seung的世界_第4页
非负矩阵分解算法概述之lee&seung的世界_第5页
资源描述:

《非负矩阵分解算法概述之lee&seung的世界》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库

1、非负矩阵分解算法概述(吴有光)NOTE:本文为科普文章,尽量做到通俗而不严格,比较适合理论小白补补NMF历史第一部分Lee&Seung的世界1引言现实生活中的数据,我们总是希望有个稀疏表达,这是从压缩或数据存储的角度希望达到的效果。从另一方面来讲,我们面对大量数据的时候,总是幻想能够发现其中的“规律”,那么在表示或处理的时候,直接操作这些提纲挈领的“规律”,会有效得多。这个事情,让很多的科学家都伤透脑筋,不过也因此有了饭碗。1.1第一个例子我们先来看一个简单的例子。在人文、管理或社会学里,实证研究方法是常用的方法。比如我们来考察大学生就业过程

2、,对学生的选择工作类别的动机,我们常说“想吃劳保饭的同学铁了心要考公务员,喜欢轻松自由氛围的同学更趋向于外企,只想稳定的同学认为国企最好,富二代神马的最爱创业然后继承家产了”,这句话如果要严格来论证是不可能的,那么我们转而寻求“调查论证”,即通过设计问卷(问卷上设计了可能影响学生选择的因素,比如家庭情况、学业情况、性格取向、对大城市或家乡的热恋程度、以及人生观价值观等等各种我们可能会影响就业取向的因素)各种我们猜测会影响学生。问卷上来后,我们通过统计得到如下的列表。图1第一个例子的统计表示例表中的各个因素我们进行了量化,比如性格因素从完全内向

3、到热情奔放分为5个等级(可以用一些问题来直接或间接获得这个等级)。那么剩下的问题就是回答开始的问题:(1)是不是我们设计的每个因素都有效?(显然不是,之所以设计问卷就是要来解决这个问题的)(2)是什么因素影响了学生的最终选择?或者说,从统计上来看,每个因素占多大比重?这时,用矩阵来表示可写为,其中就表示那个因素矩阵,表示最终取向,代表我们要求的系数。我们把要求的用代替,写成矩阵形式为:(1)更进一步,如果我们不仅调查学生的去向,还想同时调查很多事情,那么就会有,这样上面的式子改写为:(2)此时问题转化为:Q1:已知,如何求解,使之满足上面的等

4、式,其中具有初始值(就是我们设计的一堆东西)。如果我们让固定,这就是一个方程求解的过程。然而,当我们认为也可以缩减,即认为很少样本就足够表示我们真实取得的样本,那么问题进一步转化为:Q2:如何同时求解和,使之满足。或者我们也可以只对因素矩阵进行分解,即直接对其进行消减:(3)其中,为消减后因素矩阵,为在基底下的表示系数,这里要求列数要大大低于的列数,否则就没有实际意义。上面这个过程,就类似Paatero&Tapper于1994年提出的实矩阵分解(PositiveMatrixFactorization,PMF)模型,此模型后来被Lee&Seun

5、g提出的非负矩阵分解(NonnegativeMatrixFactorization,NMF/NNMF)模型所取代。1.2第二个例子第一个例子为了给非数学、非信号处理的同学一个印象,写的罗里吧嗦,那第二个例子我们就简单写。给定一组信号,如何找到对其进行稀疏表示?即如何找到满足的和,因为,这里要求且。这个问题对信号处理的同学来说,太熟悉了。因为我们毕生的精力都在干这件事情。如果去掉的非负限制,是有很多现成且高效的方法的,比如主成分分析(PrincipleComponentAnalysis,PCA)、独立成分分析(IndependentCompon

6、entAnalysis,ICA)、因子分析(FactorAnalysis,FA)等。然而,施加了非负限制后,这些方法就不适用了。而为什么要施加非负限制,回想第一个例子就明白了,我们最终找的是“影响因子”,因子会有负的么?于是,非负矩阵分解就出世了,1.3非负矩阵分解非负矩阵分解(Non-negativeMatrixFactorization,NMF)从1999年正式提出【1】至今,经过十多年的发展,已经成为一个相对成熟的数据分析手段,在图像分析、文本聚类、数据挖掘、语音处理等方面得到了广泛应用。NMF得到研究人员的青睐,除了易于获得快速分解算

7、法之外,主要归功于其分解结果有较为明确的物理意义。例如在人脸识别中,分解结果为人脸的各个局部诸如鼻子、眼睛、嘴巴等,这符合人类思维中局部构成整体的概念。如图1所示图1Lee和Seung的经典文献中所使用的NMF说明图【1】上图为NMF对人脸图像的分解结果,可见每一个子图都是人脸的某个局部;下左图为VQ分解结果,每一个子图就是某个原始样本;右下图为PCA分解结果,子图由特征脸和各级误差脸组成据说,据Lee&Seung说,NMF由于在分解过程中做了非负限制,得到的结果会像图3上一样,每个子图(类似于基)是全图的一部分,这显然有别于我们往常所用的分

8、解,并且更符合于人类直观视觉过程“局部组成整体”。但是,我们的读者是勇于实践的,不管读不读完本文,他们都会自己coding或者到QQ群180291507共享里面下载

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。