奇异线性系统的正则化

《奇异线性系统的正则化》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、奇异线性系统的正则化摘要：奇异线性系统在应用方面很广泛，例如，可以解决积分方程问题和非线性规划问题的求解问题。在线性代数中有很多应用，例如找到一个很好的近似量x’其中x∈Rn,其满足一个近似方程AX≈B，其中A满足的条件，给出的b∈Rm。直接用由电脑解出的x’来逼近x是没有意义的，因为b的右边界的错误和此条件对于矩阵A的限制。为了避免这一问题，通常的一种做法是用一个对于b的误差不敏感的近似系统来取代线性方程组Ax=b，，，，并且由后一系统经过电脑所得到的解是对x的近似。这一替代被称为正则化。本文探讨了各种为奇异线性系统计算出稳定

2、解的正则化方法。目录1.简介1.1线性系统的基本概念1.2向量和矩阵的范数2奇异线性系统2.1奇异线性系统的定义2.2矩阵A的条件数2.3检测一个线性系统的解的精确性2.4经典的奇异系统2.4.1多项式数据拟合：范德蒙系统2.4.22.4.2一个多项式函数的近似：希尔伯特系统3线性系统的最小二乘解3.1奇异值分解3.2用奇异值分解解决线性系统3.2.1奇异值分解和线性系统的稳定性3.3数值秩4正则化方法4.1秩的定义和不适定问题4.2正则化方法4.2.1吉洪诺夫方法4.2.2截断奇异值分解（TSVD）5结论一个截断奇异值分解（T

3、SVD）参考文献1.简介我们将开始研究奇异线性系统的一些线性代数的基本概念。1.11.1.1线性系统的基本概念一个线性系统方程的形式如下：AX＝B，其中A是一个已知的M×n维的coefficient矩阵，形式如下：A是m×n的矩阵，b是m维的向量，形式如下：，x是n维的未知向量，形式如下：，线性方程组有很多应用，包括以下内容：a.用牛顿迭代法求解非线性方程组。b.b.2.Curve拟合或多项式插值曲线。c.3.用有限差分法求解微分方程的数值解d.在有限区间[0,1]上用多项式逼近连续函数，其实是解决一个线性系统Ax=b，其中A是

4、一个希尔伯特矩阵。对于任何给定的线性系统的增广矩阵给出如下形式：定理1.1.考虑系统的AX＝B，其中A是coefficient矩阵，以及增光矩阵[A

5、b],大小为M×（N+1）。接下来，建立线性系统：1.AX＝B是不连续的（即，没有解存在）当且仅当等级A的秩<[Ab]的秩。2.AX＝B有一个特解，当且仅当A的秩=[A

6、b]的秩=n3.AX＝B有许多解当且仅当A的秩=[A

7、b]的秩＜n1.2向量和矩阵的范数定义1.2.（向量）向量的范数是一个函数V→R，其满足如下三个条件：1。，对于任何非零向量X2。，3。，对于任何向量X和Y以下是

8、向量范数三个规则(和我们已经学过的一样)：然后举例说明这三个范数怎么算。2.奇异线性系统本章致力于研究奇异线性系统Ax=b。我们将展示对于此增光矩阵的微小改变，其是如何影响用奇异系统或是我们已经定义的系统通过电脑计算出的解的。奇异线性系统的一些经典应用也同样会提到。因为对于奇异线性系统许多的探讨需要奇异值分解的知识（SVD），因此我们将讨论这个方法并且将展示如何使用它来解决线性系统。2.1奇异线性系统的定义线性系统Ax=b是奇异的，如果此增光矩阵的秩变化的很小而导致了解有很大的变化。如果系统AX=B是奇异的，那么计算机解出的Ax

9、=b的解通常是不精确的。换言之，如果此增光矩阵的秩变化的很小而导致了解有很的变化，那么这一系统称为稳定的。这种情况下用电脑计算出的解更精确。（举了两个例子）2.2矩阵A的条件数这一条件数是衡量A是如何稳定的接近一个奇异矩阵的。定义2.3。（条件数）A是n×n的矩阵，则条件数是这样定义的，condA，然后举例。若这一结果接近1，则是正常的条件，否则称为奇异的。若这一条件数很大，即使b的一个很小的误差也会引起解的很大的误差，否则不会出现这种情况。例2.42.3检测线性系统的解的精确性一旦系统AX＝B的解已被计算出，这就自然的可以检测

10、其是否准确。如果x的精确解已知，那么可以计算计算出的解与精确解之间的相对误差。然而，在大多数实际应用中，精确解是未知的。在这种情况下，最准确的是计算残差R=B−Ax。并且看相对残余有多小。不幸的是，一个相对较小的残余并不能保证解的精度。下面的例子说明了这一事实。2.4经典的奇异系统奇异线性系统中出现在应用数学中的很多。下面我们举一些例子2.4.1多项式数据拟合：范德蒙系统2.4.222.4.2由一个多项式近似函数：希尔伯特系统定义2.8(希尔伯特矩阵)。H是n×n的，其中元素。3。线性系统的最小二乘解在实际情况下，我们需要解决一

11、个线性方程组Ax=b，其中A是方阵或是奇异的。是方和/或奇异。在这种情况下，解可能根本不存在，若是存在，则可能有很多解。例如，当A是M×N维的并且m>n，我们有一个超定系统（即，方程的个数大于未知数的个数），而一个超定系统通常没有解。相反，一个欠定系统（m＜n）