矩阵论-第五章-广义逆及最小二乘.pdf

《矩阵论-第五章-广义逆及最小二乘.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第五章广义逆及最小二乘解在应用上见得最频繁的、大约莫过于线性方程组了。作一番调查或整理一批实验数据，常常归结为一个线性方程组：Axb=然而是否是相容方程呢？倘若不是，又如何处理呢？最小二乘解是常见的一种处理方法。其实它不过是最小二乘法的代数形式而已。广义逆从1935年Moore提出以后，未得响应。据说：(S.L.Campbell＆C.D.Meyer.JrGeneralizedInversesofLinearTransformations1979P9)原因之一，可能是他给出的定义，有点晦涩。其后，1955年Penro

2、se给出了现在大都采用的定义以后，对广义逆的研究起了影响，三十年来，广义逆无论在理论还是应用上都有了巨大发展，一直成为了线性代数中不可缺少的内容之一。为了讨论的顺利进行，我们在第一节中先给出点准备，作出矩阵的奇值分解。§5.1矩阵的酉交分解、满秩分解和奇值分解在线行空间中，知道一个线性变换在不同基偶下的矩阵表示是相抵的或等价的。用矩阵的语言来说，就是：若mn×A,BC∈，倘有非异矩阵Pmn()×，Qnn()×存在，使B=PAQmn×则称A与B相抵的或等价的。利用初等变换容易证明A∈C，秩为r，则必有P，Q，使⎛⎞I

3、r0mn×PAQ=∈⎜⎟C(5.1-1)⎝⎠00其中I是r阶单位阵。r在酉空间中，上面的说法，当然也成立，如果加上P，Q是酉交阵的要求，情形又如何呢？下面就来讨论这个问题。mn×定理5.1.1(酉交分解)A∈C，且秩为r，则HH∃××UmnVnnUUIVVI(),(),=,=，使mn⎛⎞Δ0HrUAV=⎜⎟(mn)×(5.1-2)⎝⎠00其中Δ为r阶非异下三角阵。r证明：A的秩为r，故A有r个线性无关列，不妨设前r个列是线性无关的，因为倘若非如此，则经过一系列的列交换，可以把它们调到前r列，这无异于对A乘上某一排列

4、阵，排列阵是酉交阵，而酉交阵的积仍是酉交阵，故不是普遍性。记A为A=(,aa"",,,aaa)12,rr+1n按Gram-schmidt正交化法，将aa,,"a标准正交化为12,ruu,,"u12,rHnu=δ，1,≤ijr≤ijij且u是aa,,"a的线性组合，注意到u就是a上的单位向量，故i12,i11Hnu=<01ir≤ijH更一般的有ua=<0,ji101iiiiiH一

5、般的有na=><0,ij1im≤(5.1-4)ij记Uuuuuu=(,,"",)12rr+1m则U是酉交阵，且H⎛⎞u1⎜⎟H⎜⎟u2HHH⎛⎞uaua,,"ua⎜⎟11121n#⎜⎟⎜⎟HHHH⎜⎟0uaua22"2nUAu==⎜⎟rn()aaa12,,"⎜⎟HH⎜⎟#"0uauauH⎜⎟rrrn⎜⎟r+1⎜⎟⎜⎟⎝⎠00#⎜⎟⎜⎟uH⎝⎠m'⎛⎞RR=⎜⎟()mn×(5.1-5)⎝⎠00'其中R是r阶非异上三角镇，R是rnr×()−型的阵。'记B=×(RR,())rnH⎛⎞RH则B=×⎜⎟()nr(5.1-6)

6、⎜⎟'H⎝⎠RH按上述作法，注意此时B是列满秩的，可知酉交阵Vnn()×，能使H⎛⎞ΔHHrVB=×⎜⎟,()nr⎝⎠0H其中Δ是非异上三角镇。r于是BVr=Δ(,0)(×n)r而Δ是非异下三角镇。r'⎛⎞RR,⎛⎞B⎛⎞Δ0Hr故有UAV==⎜⎟V⎜⎟V=⎜⎟(证毕)⎝⎠0,0⎝⎠0⎝⎠00mn×推论(满秩分解)A∈C，秩为r，则有mn××rxH∈∈CKCr,,(Hr)==(Kr)使A=HK(5.1-7)证明：⎛⎞Δ0Hr∃=UVUAV,,⎜⎟⎝⎠00rr()Δ=r⎛⎞Δ0rH由此有A=UV⎜⎟⎝⎠00⎛⎞Δ0⎛

7、⎞Kr=()UU,⎜⎟⎜⎟12'⎝⎠00⎝⎠K=Δ=UKHK1r显然有rH()()==rKr(证毕)酉交分解定理，秩说明了Δ是非异下三角镇，至于它的元，特r别是对角线上的元，除了知道是非零元以外，就谈不出其他性质了。然而利用酉交分解，可以进一步作出有特征的分解，这就是奇值分解(SingularValueDecomposition)。mn×定理5.1.2(奇值分解)A∈C，rAr()=HH则∃×UmmVnnUUIVVI(),()×,=,=m⎛⎞D0Hm×n使UAV=∈⎜⎟R(5.1-8)⎝⎠00其中Dd=iag(,,

8、,)λλλ"(5.1-9)12r而λ≥≥≥>λλ"012rH是AA的非零特征值。证明：按酉交分解定理，有Umn()×Vnn()×，11⎛⎞Δ0Hr使UAV=⎜⎟11⎝⎠00⎛⎞Δ0rH即A=UV⎜⎟11⎝⎠00H⎛⎞Δ0⎛⎞Δ0HHrrH故有AAV=⎜⎟UU⎜⎟V1111⎝⎠00⎝⎠00H⎛⎞ΔΔ0rrH=VV⎜⎟11⎝⎠00H注意到Δ使H阵，且正定，故有V