矩阵范数和奇异值分解

《矩阵范数和奇异值分解》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、动态系统及控制讲义MohammedDahlehMuntherA.DahlehGeorgeVerghese电气工程与计算机科学系1麻省理工学院1©第四章矩阵范数和奇异值分解4.1引言在这一讲中，我们将引入矩阵范数的概念。之后会介绍矩阵的奇异值分解或者叫SVD。SVD揭示了矩阵的2范数，它的值意义更大：它使一大类矩阵扰动问题得以解决，同时也为后面稳定鲁棒性的概念打下基础；它还解决了所谓的完全最小二乘问题，该问题是我们前面讲的最小二乘问题的推广；还帮我们澄清在矩阵求逆计算中碰到的态性的概念。在下一讲中，我们会花更大的篇幅来叙说SVD的应用。例4.1为

2、了提高大家对矩阵范数研究和应用的兴趣，我们首先从一个例子开始，该例子提出了与矩阵求逆有关的矩阵态性问题。我们所感兴趣的问题是矩阵求逆对矩阵扰动的敏感程度。考虑求下列矩阵的逆马上就可以求得现在我们假设对一个受到扰动的矩阵求逆求逆后，结果就成了在这里表示A中的扰动，表示中的扰动。显然中一项的变化会导致中的变化。如果我们解，其中，得到，加入扰动后，解得。在这个结果中，我们仍然可以清楚的看到开始数据仅有的变化，却导致解产生的变化。以上例子中我们看到的要比在标量情况下差的多。如果是标量，那么，所以的倒数中小数部分的变化和的变化在同一量级上。因此，在上例中

3、的现象完全是在矩阵的时候才出现的。看上去好像和是近似奇异的事实有关——因为它的列几乎不独立，且它的行列式值要比它的最大元素小很多，等等。随后（见下一讲），我们会找到衡量奇异程度的合理方法，同时还要说明在求逆情况下，这种方法和灵敏度的关系如何。在理解这种灵敏度和扰动的细节关系之前，我们首先要找到度量向量和矩阵量级的方法。在第一讲中我们已经引入了向量范数的概念，所以我们现在来看一下矩阵范数的定义。4.2矩阵范数一个维复数矩阵可以看成（有限维）赋范向量空间中的一个算子：其中，这里的范数指的是标准欧氏范数。定义的归纳2-范数如下：术语“归纳”是指在向量

4、和的范数的基础上，使得以上矩阵范数的定义有意义。该定义中，归纳范数表示矩阵在中单位圆上向量扩大的倍数，也就是说，它表示矩阵的增益。除了用2-范数来度量向量和，我们还可以用范数，感兴趣的是的情况。它的定义是：需要考虑的一个很重要的问题是，在第一讲向量范数定义的情况下，归纳范数是否是真正的范数呢？下面，我们来回顾定义范数的三个条件：现在我们证明是上的范数——利用前面的定义：1．对任意都有，所以。进一步有，因为是在单位圆上的最大值。2．对任意的，由得。3．三角不等式仍然成立，因为：归纳范数有两条额外重要的性质：1．，它是由定义直接推得的结论；2．对于

5、称为子乘性质。也可以直接由定义得出：除以得：由此我们得出结果。归纳2-范数将是本讲以及下一讲的重点，在我们深入研究它的更多细节之前，我们先引出另外两个常用的归纳范数，-范数和-范数。我们还会讲到一个重要的矩阵范数，它不是归纳范数，而叫做范数。我们很容易证明和（注意当的时候，这两个定义就成了我们学过的列向量的-范数和-范数。）归纳-范数的证明要分两步，即：1．证明等式的值中存在上限2．对于某些，证明该上限是可以求出来的：为了看到这些步骤如何执行，我们给出一些有关-范数的细节。令，并考虑：上面的不等式说明了上限由下式给出为了证明该上限可以通过某向量

6、求得，用表示取得最大值的位置，即。定义向量为：显然且-范数的证明完全类似，留给读者自己去完成。在矩阵范数中有的不是归纳范数，也就是满足前面说过的那三条的函数。范数就是其中最重要的一个：换句话说，范数定义为矩阵各元素的平方和的根，也就是说，当把矩阵仅仅当作中的一个向量时，那么范数也就是矩阵通常的欧氏2-范数。虽然可以证明范数不是归纳范数，但是它却仍然具有归纳范数的子乘性质。还有一些其它的范数的定义（有些不具有子乘性质），不过我们只对上面我们讲的几个感兴趣。4.3奇异值分解在我们讨论矩阵的奇异值分解之前，我们先看几个关于矩阵的常识和定义。一些矩阵常

7、识：ò如果，，那么就是单位矩阵。像Matlab中一样，在这里上角标表示转置矩阵的复数共轭，也称为厄密共轭或者共轭转置。ò如果，，那么就是正交的，其中上角标表示转置。ò性质：如果是单位矩阵，那么。ò如果（也就是和它的厄密共轭阵相等，在这种情况下，我们称为厄密共轭阵），那么就一定存在一个单位矩阵使得。ò对任意的矩阵A，和都是厄密共轭阵，所以它们都可以通过单位矩阵变成对角阵。ò对任意的矩阵A，和的特征值通常都是实的和非负的（很容易通过反证法进行证明）。定理4.1（奇异值分解，或称）给定任意矩阵，A可以写成：其中。称作的奇异值，按照降序排列为：证明：我

8、们只证的情况；其他的情况和该例的证明十分类似。是厄密共轭阵，所以可以通过单位矩阵进行对角化，有：注意，由于是正定的，所以中的对角元素也都是正实数。我们