最小二乘法的历史回顾与现状

《最小二乘法的历史回顾与现状》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、第15卷第1期中国科学院研究生院学报Vol115No111998年5月JournalofGraduateSchool,AcademiaSinicaMay1998最小二乘法的历史回顾与现状陈希孺　院士(本院数学教学部)摘　要　对最小二乘法的意义、发现经过及与之有关的高斯正态误差理论的发展情况,作了简要论述;对这个方法在应用上的意义、理论上的进展以及与之相关的一些数理统计学问题,也作了概括性的介绍.关键词　最小二乘法,线性统计模型,M估计1　最小二乘法的定义假定在研究一个问题时,从某种理论或假定出发,得到了一个模型.

2、根据这个模型,我们感兴趣的某个量有其理论值,同时我们可以对这个量进行实际观测,而得出其观测值.由于种种原因——例如模型不完全正确以及观测有误差等,理论值与观测值会有差距,这差距的平方和2H=£(理论值-观测值)(1)可以作为理论与实测符合程度的度量.(1)式中的求和是针对若干次不同的观测,通常,理论值中包含有未知参数(或参数向量)H.最小二乘法(LeastSquaresMethod,以下简记为LSE)要求选择这d样的H值H,使H达到最小.因此,LSE的直接意义,是作为一种估计未知参数的方法.举一个简单例子.设有一

3、个未知量H,对它作了n次测量,分别得出x1,⋯,xn.在此,理论n2d值是H,观测值为xi,(1)式定义的H=H(H)=£i=1(xi-H),使H(H)达到最小的H值为H=qq(x1+⋯+xn)ön=x.因此,按LSE应取各次观察值的平均值x去估计H.这就是常用的取算术d)=£n(xq2平均的方法从LSE角度的解释.本例中最小值为H(Hi=1i-x),其大小可以作为测量qq精度(因而x这个估计的精度)的一种指标:此值愈大,表示测量的精度愈小,因而x的精度也愈小.但还要注意一个情况,有可能各次测量很接近,但都有系统

4、偏差.比方说,一架天平没有d调好,1g的东西,秤出来总在111g左右.因此,以H(H)之值去衡量测量精度(因而估计精度)有一个条件,即测量没有系统误差,在数理统计上把这称为无偏性(unbiasedness).如果以e记测量的随机误差,则无偏性的统计表述是Ee=0,E是所谓数学期望.直观上说,就是在多次测d量之下,正负偏差都可能出现并在概率意义上相互抵消.当这个条件满足时,H(H)确实可以作为刻划估计精度的指标,具体如何做,在数理统计学中有仔细介绍,此处不多说了.在统计上使用LSE时,一般都要假定这种无偏性成立,当

5、然,在实际操作中要保证这个条件,需要细心地做好有关的工作,以消除系统误差可能的来源.举一个稍复杂一点的例子.设有两个相关的量x,y(例如人的身高、体重),对之进行n次观测,得(xi,yi),i=1,⋯,n.在直角坐标系中,这些点大体上沿一条直线分布,因此有一定理由　收稿日期:19972122304©1995-2004TsinghuaTongfangOpticalDiscCo.,Ltd.Allrightsreserved.1998年陈希孺:最小二乘法的历史回顾与现状5月把这问题的理论模型设定为直线y=H1+H2x.

6、按这个模型,在xi处y的理论值应为H1+H2xi,而实际观测结果为yi.因此,对本问题,(1)式定义的H为n2H(H1,H2)=∑i=1(yi-H1-H2xi),利用求极值的方法不难确定使H达到最dd小的值H1和H2,它们是dqdqH1=y-H2x,dn(qnq2H2=∑i=1xi-x)yiö∑i=1(xi-x).dd所定出的直线y=H1+H2x与观测点{(xi,yi),1≤i≤n}的拟合程度如何,可由最小值ddH(H1,H2)刻划,此值愈大,表示点群的直线趋势并不强.此处看来没有涉及观测误差的问题,其实不然,很

7、可能有这样的情况:原本x,y之间有直线关系(例如说)y=2x图1+1,但由于对x,y的观测有系统误差,从图上看,点群可能仍是聚集在一条直线附近,但这条直线与正确的直线y=2x+1偏离很远.dd当然,即使没有系统误差,但由于测量有随机误差,由LSE所决定的直线y=H1+H2x仍会与正确的直线y=H1+H2xi有差距.但这种差距一般说比较小,且当观测次数n较大时会很小.而系统误差存在时差距会较大,且不随测量次数的增加而降低.此例还值得注意的一点是:虽说x,y都是被观测的量,但在我们用LSE去处理时,其地位不同,表现在

8、理论值与观测值的偏差是以y值为准而不以x值为准.形式上,我们也可以倒过来,即以x值为准来计偏差.这时用LSE所拟合的直线,与刚才以y为准所得者会不同.这个现象乍看似乎有些难于理解,但从统计学角度看是完全自然的,此处不详加说明.在统计上,把此处的x叫做“解释变量”或“自变量”,而y叫做“目标变量”或“因变量”.偏差以目标变量为准.在实用上,何者取为解释变量或目标变量,并非完