矩阵分析几何意义的整理.doc

《矩阵分析几何意义的整理.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、矩阵分析几何意义和透彻理解PCA的一些整理这是几篇很不错的文章集合在一起的一篇文章，有些内容来自blog，有些来自文献和教程，解决了我遇到很多疑问，感谢把它推荐给我的人。前四部分来自早期几篇blog，把空间描述的形象且易懂，适合我们这些非数学专业的人搞明白一些抽象的问题。一、矩阵的特征值概述：矩阵特征值要讲清楚需要从线性变换入手，把一个矩阵当做一个线性变换在某一组基下的矩阵，最简单的是数乘变换，求特征值的目的就是看看一个线性变换对一些非零向量的作用是否能够相当于一个数乘变换，特征值就是这个数乘变换的变

2、换比。这样的一些向量就是特征向量，其实我们更关心的是特征向量，希望把原先的线性空间分解成一些向量相关的子空间的直和，这样我们的研究就可以分别限定在这些子空间上来进行，这和物理中研究运动的时候将运动分解成水平方向和垂直方向的做法是一个道理。自相关矩阵最大特征值和特征向量并没有和原来的哪个信号一一对应，而且特征分解本身的含义相当于对原来的信号做了这样的正交分解。使得各个分量之间相互不相关，也就是K—L展开，每一个特征值相当于原来各个信号导向矢量的线性组合，因此不能仅仅从某个特征矢量中直接对应原来某个信号的

3、特征。二、线性空间和矩阵的几个核心概念：空间（space）：空间的数学定义是一个集合，在这个集合上定义某某概念，然后满足某些性质，就可以被称为空间。我们所生活的空间是一个三维欧几里德空间，我们所生活空间的特点：（1）有很多（实际上是无穷多个）位置点组成（2）这些点之间存在着相对关系。（3）可以咋空间中定义长度、角度。（4）这个空间可以容纳运动（从一个点到一个点的移动，而不是微积分意义上的“连续”性运动）第（4）点是空间的本质特征，（1）、（2）两点是空间的基础而非性质，第（3）点在其他空间也行并不具备

4、，自然更不是关键的性质。只有第（4）点是空间的本质。把三维空间的认识拓展到其他空间。事实上，不管是什么空间，都必须容纳和支持在其中发生的符合规律的运动（变换）。我们会发现，在某种空间中往往会存在一种相对应的变换，比如：拓扑空间中有拓扑变换，线性空间中有线性变换，仿射空间中有仿射变换，其实这些变换都只不过是对应空间允许的运动形式而已。例1.最高次项不大于n次的多项式的全体构成一个线性空间，也就是说，这个线性空间中每一个对象是一个多项式。如果我们以X0,X1,X2,…..,Xn为基，那么任何一个这样的多项

5、式都可以表达为一组n+1维向量，其中的每一个分离ai其实就是多项式Xi-1项系数。值得说明的是，基的选取有多种方法，只要所选取的那一组基线性无关就可以。例2．闭区间[a，b]上的n阶连续可微函数全体，构成一个线性空间。也就是说，这个线性空间的每一个对象是一个连续函数。对于其中任何一个连续函数，根据魏尔斯拉斯定律，一定可以找到最高次不大于n的多项式函数，使之与该函数的差为0，也就是说完全相等。这样就把问题归结为L1了。三、线性代数的一个最根本问题——线性空间中的运动，被称为线性变换。也就是说，你从线性空

6、间中的一点运动到任意的另外一点，都可以通过一个线性变换来完成。在线性空间中，当你选定一组基之后，不仅可以用某个向量来描述空间中的任何一个对象，而且可以用矩阵来描述该空间的任何一个运动（变换）。而使某个对象发生相对运动的方法，就是用代表那个运动的矩阵，乘以代表那个对象的向量，简而言之，在线性空间中选定基之后，向量刻画对象，矩阵刻画对象的运动，用矩阵与向量的乘法施加运动。甚至可以说：“矩阵的本质是运动的描述”。在此不作详细说明，有兴趣的读者可以看看齐民友教授写的《重温微积分》，读了这部书的开头部分，就可以

7、搞明白“高等数学是研究运动的数学”这句话的道理。四、理解矩阵:在《理解矩阵》的文章里，“运动”的概念不是微积分中连续性的运动，而是瞬间发生的变换。比如物理学中量子的跃迁，物理上矩阵是线性空间里的跃迁的描述。1.用数学用语描述变换，其实就是空间里从一个点（元素/对象）到另一个点（元素/对象）的跃迁。趣味逸事：描述一个三维对象只需要三维向量，但是所有的计算机图形学变换都是4*4的，这是因为在计算机图形学里的应用的图形变换，实际上是在仿射空间而非向量空间中进行。想想看，在向量空间里相应一个向量平行移动后仍是

8、相同的那个向量（向量空间只是一个线性空间，没有定义内积,即长度），而现实世界等长的两个平行线段当然不能被认为是同一个东西，所以计算机图形学的生存空间实际上是仿射空间。而仿射空间的矩阵表示根本是4*4的。2．线性变换：线性变换究竟是一种什么样的变换？答：线性变换就是从一个线性空间V的某一点跃迁到另一个线性空间W的另一个点的运动。也就是说一个点不仅可以变换到同一个线性空间中的另一个点，而且可以变换到另一个线性空间中的另一个点。不管怎样变换，只要变换前后都是线