从拉普拉斯矩阵说到谱聚类

《从拉普拉斯矩阵说到谱聚类》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、从拉普拉斯矩阵说到谱聚类SpectralHashing作者：July出处：结构之法算法之道blog目录2目录0引言31矩阵基础31.1理解矩阵的12点数学笔记...........................31.2一堆基础概念..................................52拉普拉斯矩阵62.1Laplacianmatrix的定义............................62.2拉普拉斯矩阵的性质..............................83谱聚类93.1相关定义.....................

2、...............93.2目标函数....................................103.3最小化RatioCut与最小化f′Lf等价....................113.4谱聚类算法过程.................................130引言30引言11月1日上午，机器学习班1第7次课，邹博讲聚类（PPT），其中的谱聚类引起了自己的兴趣，他从最基本的概念：单位向量、两个向量的正交、方阵的特征值和特征向量，讲到相似度图、拉普拉斯矩阵，最后讲谱聚类的目标函数和其算法流程。课后自己又琢磨了番谱聚类跟拉普

3、拉斯矩阵，打算写篇博客记录学习心得，若有不足或建议，欢迎随时不吝指出，thanks。1矩阵基础在讲谱聚类之前，有必要了解一些矩阵方面的基础知识。1.1理解矩阵的12点数学笔记如果对矩阵的概念已经模糊，推荐国内一人写的《理解矩阵by孟岩》系列，其中，抛出了很多有趣的观点，我之前在阅读的过程中做了些笔记，如下：1.简而言之：矩阵是线性空间里的变换的描述，相似矩阵则是对同一个线性变换的不同描述。那，何谓空间？本质而言，空间是容纳运动的一个对象集合，而变换则规定了对应空间的运动by孟岩在线性空间选定基后，向量刻画对象的运动，运动则通过矩阵与向量相乘来施加。然，到底什么是基

4、？坐标系也。2.有了基，那么在(1)中所言的则应是：矩阵是线性空间里的变换的描述，相似矩阵则是对同一个线性变换在不同基（坐标系）下的不同描述。出来了两个问题，一者何谓变换，二者不同基（坐标系）如何理解？事实上，所谓变换，即空间里从一个点（元素/对象）到另一个（元素对象）的跃迁，矩阵用来描述线性变换。基呢?通过前面已知，矩阵无非不过就是用来描述线性空间中的线性变换的一个东西而已，线性变换为名词，矩阵为描述它的形容词，正如描述同一个人长得好看可以用多个不同形容词“帅”“靓”描述，同一个线性变换也可以由多个不同的矩阵来描述，而由哪一个矩阵描述它，则由基（坐标系）确定。3

5、.前面说了基，坐标系也，形象表述则为角度，看一个问题的角度不同，描述问题得到的结论也不同，但结论不代表问题本身，同理，对于一个线性变换，可以选1http://blog.csdn.net/v_july_v/article/details/7237351#t611矩阵基础4定一组基，得到一个矩阵描述它，换一组基，得到不同矩阵描述它，矩阵只是描述线性变换非线性变换本身，类比给一个人选取不同角度拍照。4.前面都是说矩阵描述线性变换，然而，矩阵不仅可以用来描述线性变换，更可以用来描述基（坐标系/角度），前者好理解，无非是通过变换的矩阵把线性空间中的一个点给变换到另一个点上去

6、，但你说矩阵用来描述基(把一个坐标系变换到另一个坐标系)，这可又是何意呢？实际上，变换点与变换坐标系，异曲同工！@坎儿井围脖：矩阵还可以用来描述微分和积分变换。关键看基代表什么，用坐标基就是坐标变换。如果基是小波基或傅里叶基，就可以用来描述小波变换或傅里叶变换5.矩阵是线性运动（变换）的描述，矩阵与向量相乘则是实施运动（变换）的过程，同一个变换在不同的坐标系下表现为不同的矩阵，但本质/特征值相同，运动是相对的，对象的变换等价于坐标系的变换，如点(1;1)变到(2;3)，一者可以让坐标点移动，二者可以让X轴单位度量长度变成原来1/2，让Y轴单位度量长度变成原来1/3

7、，前后两者都可以达到目的。6.Ma=b，坐标点移动则是向量a经过矩阵M所描述的变换，变成了向量b；变坐标系则是有一个向量，它在坐标系M的度量下结果为a，在坐标系I（I为单位矩阵，主对角为1，其它为0）的度量下结果为b，本质上点运动与变换坐标系两者等价。为何？如(5)所述，同一个变换，不同坐标系下表现不同矩阵，但本质相同。7.Ib，I在(6)中说为单位坐标系，其实就是我们常说的直角坐标系，如Ma=Ib，在M坐标系里是向量a，在I坐标系里是向量b，本质上就是同一个向量，故此谓矩阵乘法计算无异于身份识别。且慢，什么是向量？放在坐标系中度量，后把度量的结果（向量在各个坐标

8、轴上投影值