线性模型参数的最小二乘估计综述

《线性模型参数的最小二乘估计综述》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、线性模型参数的最小二乘估计综述研1104班检测自动化李宇201104212摘要：本文简要介绍了线性模型参数的最小二乘估计的特点及相应的发展过程。总结了最小二乘估计的基本理论，探讨了最小二乘估计存在的问题和相应的解决方法。关键词：线性模型；最小二乘估计；综述SurveyontheleastsquaresestimationonlinearmodelAbstract:Thecharacteristicsanddevelopmentprocessoftheleastsquaresestimationonlinearmodelarebriefl

2、yintroduced.Thebasictheoriesoftheleastsquaresestimationarepresentedindetail.Openissuesanddevelopmentintendsarealsodiscussed.Keywords:linearmodel;leastsquares;survey1前言最小二乘法是一种数学优化技术，它通过最小化误差的平方来寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。随着信息产业的飞速发展，在现代科学和

3、技术的许多领域广泛存在着信息的处理问题，根据不同的需要，人们在各种优化准则下研究这些信息的优化处理。由于信息的产生和收集常常受到各种噪声的干扰，数据一般是不确定的，而是具有一定统计特性的随机数据。在随机问题的参数估计方面，人们提岀了均方误差、线性最小方差、最小二乘估计等优化准则,并在一定假设下得到了这些优化准则下最优估计的解析表达式。而在均方误差和线性最小方差意义下求最优解时，需要待估参数的误差方差阵已知，但在实际问题屮是很难知道的；最小二乘法则不需要待估参数和误差的任何先验统计信息，非常便于实际应用。线性模型是数理统计学中很重要的分支

4、，也是最小二乘法在统计中应用最成功的领域。本文简要介绍了线性模型参数的最小二乘估计的特点及相应的发展过程，总结了最小二乘估计的基本理论，探讨了最小二乘估计存在的问题和解决方法。2最小二乘法的发展过程通常的线性模型表示为：y=X0+£*R”,XwRW,0wRr其屮E（£）=O,C"（£）=/V，Y称为随机观测矩阵，X为设计矩陈，£为随机观测噪声，V为误差协方差矩阵：0和＜7为待估计参数。从表达式可以看到变量X与Y之间的这种线性关系与通常的函数关系不同，因为变量Y的值不能够完全精确地由X的值所确定。最小二乘法起源丁•求解线性孑盾方程组即线性

5、模型参数的估值问题。两个世纪前，著名数学家A.M.Legendre和C.F.Gauss把最小二乘应用于观测数据的分析。后来,A.A.Markov于1900年证明了最小二乘估计的最小方差性质,即著名的gauss-Markov定理，奠定了最小二乘估计在参数估计理论中的地位OR.C.Bose于1944年引入的可估函数的概念以及广义矩阵的应用，使得设计矩阵为列降秩的线性模型的估计理论表达的更加严格而简洁。误差方差阵为奇异阵的线性模型的研究始于本世纪60年代屮期。Goldman和Zelen[l]率先捉出了用满秩线性变换把模型化为协方差阵为带约束的

6、情形。后来C.R.Rao[2]采用推广最小二乘的途径,提出了"最小二乘统一理论”ULS（TheUnifiedTheoryofLeastSquares）,它既实用于设计矩阵为列满秩或列降秩，又实用于误差方差阵为奇异的情形。而儿乎在同一时期，C.R.Rao还提出了另一种计算模型BLUE的方法一—分块逆矩阵法。3最小二乘估计的基本原理3.1最小二乘一次完成法假定观测模型是线性的，待估计量为&二冷,&2,…為r，观测为Zj=+hi202+・・・+hiM0M,i=l,2,…,N用矢量和可表示为z=HO+v其中z=[zpz2,---z^f,v=[v

7、1,v2,---vAf]r,H=^21观测与估计偏差的平方和可表示为丿@）=[z・H卸[z-H$]最小二乘估计就是使丿0)最小的估计,记为入。求丿(勿对$的导数，并令导数等于零，得^1=-2Ht[z-H0]=O由此可得最小二乘估计为3.2最小二乘递推算法k=(HTH)~]HTz上述的算法是在取得整批数据后，一次求取参数的估计值。在采样次数k值大的时候，计算量比较大，因此提出了最小二乘递推算法。递推算法的一般形式是&+1=a+k如卜仗+1)-兀+点二&+K如卜伙+1)-歟+1)]+K&+Q伙+i)上式中：瓦是第k次采样数据后求出的参数估计

8、值，$如是得到第k+i次采样数据后求出的参数值，/如是H矩阵的k+l行，仏&是预报；g值，是(2n+l)维的修止列向量矩阵。在最小二乘递推算法中，K⑷的表达式为：Km=(H「HfhK+l[l+k気(H丁町'