机器学习数学基础-矩阵论.docx

《机器学习数学基础-矩阵论.docx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1.矩阵和线性变换：线性变换的定义：线性映射（linearmapping）是从一个向量空间V到另一个向量空间W的映射且保持加法运算和数量乘法运算，而线性变换（lineartransformation）是线性空间V到其自身的线性映射。一个矩阵对应了一个线性变换这个说法，就可以知道这个说法并不严谨。（基）矩阵是对线性变换的表示；确定了定义域空间与目标空间的两组基，就可以很自然地得到该线性变换的矩阵表示。两个矩阵相乘，表示了三个线性空间的变换。要想从第一个空间转换到第三个空间，则第一个变换的定义域空间U到目标空间V1，第二个变换的定义域空间V2到目标空间W，必须满足V1和V2是一个空间。矩

2、阵把v'i换成vi的换基矩阵与把vi换成v'i的换基矩阵这两个矩阵是互逆的.2恒等变换与伸缩变换3矩阵对角化条件：n个线性无关的特征向量；每个特征值的线性无关的特征向量的个数恰好等于该特征值的代数重数；充分条件n个特征值互不相等（充分条件）；代数重数：特征多项式的次数；几何重数：与某一个特征值λ相关联的线性无关的特征向量的最大个数。所以对角化其实就是要用特征向量组成的基来代替标准基，描述线性变换，使得多个耦合的变量尽可能的解耦。如果A为实对称阵，则其必可以正交相似对角化。其中U内的每个向量互相正交。即：u1.T=u1.I.线性变换：可以发现里面并不涉及矩阵维度的变化。其中中间的对角矩

3、阵相当于对矩阵的每一列（t特征向量）进行拉伸。两边的同维方阵使用的是同一组基，即上述的线性变换始终在一组基里面，所以相当于在同一空间内做旋转。在一个n维空间里，标准正交基是唯一存在的，该n维空间里面所有的向量都可由该组正交基线性变换得到。所以矩阵的对角化涉及到的运动包括：旋转和缩放。A矩阵将一个向量从x这组基的空间旋转到x这组基的空间，并在每个方向进行了缩放。4.SVD证明：AA.T的特征向量组就是P矩阵：得证对A进行矩阵分解得到的P矩阵就是AA.T的特征向量组成的P矩阵。SVD的一些应用1.降维左奇用于行数的压缩。右奇异矩阵可以用于列数即特征维度的压缩，也就是我们的PCA降维。2.

4、PCA使用SVD求解PCA求解过程中的协方差矩阵为特征之间（列之间）的关系矩阵（m*m）。而SVD的右奇异矩阵也是关于特征之间（矩阵列之间）的关系，所以PCA里面的协方差矩阵可以通过SVD得到。SVD有个好处，有一些SVD的实现算法可以不求先求出协方差矩阵，也能求出我们的右奇异矩阵。3.奇异（乱入的）若n阶方阵A的行列式不为零，即

5、A

6、≠0，则称A为非奇异矩阵或满秩矩阵4.几何意义：奇异值分解把线性变换清晰地分解为旋转、缩放、投影这三种基本线性变换。其中，P为m*m矩阵，Q为n*n矩阵。其中涉及的变换：。A矩阵的作用是将一个向量从Q这组正交基向量的空间旋转到P这组正交基向量空间，并对

7、每个方向进行了一定的缩放，缩放因子就是各个奇异值。如果Q维度比P大，则表示还进行了投影。8.一些概念矩阵行秩等于列秩估计量的数学期望等于被估计参数的真实值，则称此此估计量为被估计参数的无偏估计。矩阵与标量相乘与相加，每个元素与该标量相乘或相加互逆矩阵特征值互为倒数，特征向量一样9.条件数矩阵A的条件数等于A的范数与A的逆的范数的乘积，即cond(A)=‖A‖·‖A^(-1)‖，对应矩阵的3种范数，相应地可以定义3种条件数。函数cond(A,1)、cond(A)或cond(Ainf)。原因：条件数事实上表示了矩阵计算对于误差的敏感性，条件数越大，矩阵越大越病态，矩阵是指解集X对系数矩阵

8、A和偏差bias高度敏感。主要是某些向量之间可以互相近似线性表达（如[401-201]与[-800401]）,从而另一项近似残差项，这样微小的扰动带来大的扰动。矩阵的条件数总是大于1.正交矩阵的条件数等于1，奇异矩阵的条件数为无穷大，而病态矩阵的条件数则为比较大的数据。10.鞍点，极值点，驻点检验二元函数F（x，y）的驻点是不是鞍点的一个简单的方法，是计算函数在这个点的Hessian矩阵：如果黑塞矩阵的行列式小于0，则该点就是鞍点。在一维空间里，鞍点是驻点．也是反曲点点。////////////目标函数在此点上的梯度（一阶导数）值为0，但从该点出发的一个方向是函数的极大值点，而在另一

9、个方向是函数的极小值点。11矩阵对角化计算过程对称矩阵肯定可以对角化。矩阵可以对角化的充分必要条件是：矩阵有n各不同的特征值。n个相互无关的特征向量正交化过程：其中[]/[]。上下是点乘的过程。12矩阵正定半正定判断条件：(1)A为半正定阵：a.定义判定。XTAX表示的意义是：矩阵A对应的二次型X'AX，对于任意不为0的实列向量X，都大于等于0。b.所有的主子式非负。主子式是指将行号与列号相等的项拿出来组成一个矩阵的行列式。（2）A为正定阵：a.定义判断b