第二章参数估计理论4

第二章参数估计理论4

ID:38262308

大小:116.97 KB

页数:4页

时间:2019-05-25

第二章参数估计理论4_第1页
第二章参数估计理论4_第2页
第二章参数估计理论4_第3页
第二章参数估计理论4_第4页
资源描述:

《第二章参数估计理论4》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库

1、SVD-LS算法SVD定理:给定数据矩阵A()KM×,存在两个酉矩阵V和U,使得M×MK×KH⎛⎞Σ10UAV=⎜⎟=Σ(1)⎝⎠00其中Σ=diag(σ,σσ,...,)且σ≥≥≥σσ...,rK≤min(,M)。11122rr1122WWSVD定理也可以写成如下形式:⎛⎞Σ0rH1HHHAU==ΣVU⎜⎟VU==111ΣVu∑σiiiiv,(2)⎝⎠00i=1其中uv和为列向量,分别称A的左,右奇异向量。iiK×M又由于2HH2⎛⎞Σ10H2HVAAV==Σ⎜⎟或者AAV=ΣV(3)⎝⎠00H因此V的列向量v是()AA的特征向

2、量,其对应的特征值是A的奇异值σ的iM×Mi2平方σ。iH同理,U的列向量u是AA的特征向量,其对应的特征值是A的奇异值σii2的平方σ。i由奇异值分解定理,可以定义A的一个更广义的伪逆矩阵⎛⎞−1r†Σ10H1HA==VUv⎜⎟∑iiu(4)⎝⎠00i=1σii原先Aw=b的最小二乘解即为求A的广义逆†1HH−wAbAAAb==()(5)当A非列满秩(因为这里只讨论超定情况,所以只考虑非列满秩,而在欠定情HH−1况下应为非行满秩)所以AA非满秩,即()AA不存在,因此(5)式无法实现。这时,用(4)式可得最小二乘解⎛⎞−1r†1

3、Σ10HHH−1wAbV==⎜⎟UbV=11ΣUv1=∑iiub(6)⎝⎠00i=1σiiH当AA满秩时LS解是唯一的,用(6)式和用(5)式给出的LS解是一致的,H当AA非满秩时,(5)式不可用,LS解有很多个,其中解的模值最小的只有一个,这就是(6)式给出的SVD解。从这个意义上,SVD-LS解法更通用。问题1:虽然在理论上ir>时奇异值σ=0,但实际上,由于有计算误差等i因素存在,σˆ在ir>时并不等于零。i有效秩:有效秩确定有两种常用方法。σˆi计算归一化奇异值:σ=,且σ≥ε,可取ε=0.05等;ikσˆ1222AkFσ

4、σ12+++...σk范数比方法:vk()==≥=α,hmin(,KM),可取Aσσ22+++...σ2F12hα=0.98等。问题2:(6)式这种最小二乘解包含了M个解参数,即w有M个元素。然而,由于Aw=b中A非列满秩(假设秩为r)意味着w中只有r个参数是独立参数,而其它参数是这r个参数是独立参数线性相关的结果。许多场合我们需要求出这r个独立(线性无关)的参数,而剔除包含冗余因素的M−r个参数。怎么办?——利用SVD进行子集选择,Golub等提出低秩LS方法(《矩阵分析与应用》)。总体最小二乘之SVD-TLS算法基本思想:不仅

5、用扰动量e去干扰数据向量b,而且用扰动矩阵E去干扰数据矩阵A,使之联合最小化。即()A+Ex=be+(7)或⎡⎤1(,[]−+bA[]−eE,)⎢⎥=0(8)⎣⎦x等价为(B+D)z=0(9)⎡⎤1其中增广矩阵Bb=−[,A]和扰动矩阵D=−[eE,]均为mn×(1+)维矩阵,z=⎢⎥⎣⎦x为(1n+)维列向量。TLS方法表述为求解向量z,使得1/2⎛⎞mn2DF==⎜⎟∑∑dijmin(10)⎝⎠ij==11mn×+(1)总体最小二乘问题归结为,求一个具有最小范数的扰动矩阵D∈C使得B+D非满秩,因为如果满秩则只有平凡解z=0。

6、设B的有效秩为p,且HBU=ΣV(11)令mn×+(1)矩阵Bˆ是B的最佳逼近,则BUˆ=ΣVH(12)p原方程(9)可以转化为Bz=ˆ0(13)(低秩方法)接着令mp×+(1)维矩阵Bˆ(,jjp+)是Bˆ的第j列到第j+p列组成的子矩阵,这样的矩阵Bˆ(,jjp+)共有n+1-p个,即BBˆˆ(1,1++pnp),...(1−,n+1)。B的有效秩为p意味着未知参数向量x中只有p个是独立的,不妨令这些T参数是x的前p个参数,它们连同1一起构成(1p+)1×维向量α=[1,,...,xx]。1p则(13)式所示的方程求解可以变为

7、如下n+1-p个方程组的求解:Bˆ(,jjp+=)α0,j=+1,...,n1−p(14)或写为⎡⎤Bˆ(1,1+p)⎢⎥⎢⎥Bˆ(2,2+p)α=0(15)⎢⎥@⎢⎥⎢⎥⎣⎦Bˆ(1,1np+−n+)该方程组的最小二乘解等价于使下列代价函数最小化HHfj()α=+⎡⎤Bˆˆ(1,ppn)αB(1,1+)α+...++⎡Bˆ(1−p,nn+1)α⎤Bˆ(+1−p,n+1)α⎣⎦⎣⎦(16)令(1pp+×+)(1)维矩阵np+−1SBB()pH=∑ˆˆ(,iip++)(,iip)(17)i=1则代价函数(16)式可以写为:Hp()f

8、()αα=Sα(18)∂f()α使其最小化,就是使=0,于是∂α()pSα=γe(19)Te=[1,0,...,0],γ为使参数向量α第一个元素为1的归一化常数。所以求得的待估计参数为−−()pp()xˆ=+SS(ii1,1)/(1,1),=1,.

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。