浅谈加权最小二乘法及其残差图72712

《浅谈加权最小二乘法及其残差图72712》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、浅谈加权最小二乘法及其残差图兼答孙小素副教授何晓群刘文卿ABSTRACTThepaperintroducessomeproblemsinrelationtoweightedleastsquareregression,andanswersaquestionaboutweightedresidualplots・关键词：异方差；加权最小二乘法；残差图；SPSS一、引言好几年没有翻《统计研究》了。最近，有一同行朋友打电话告诉我《统计研究》2005年第11期上刊登了一篇冇关我与刘文卿合作编著的《应用回归分析》（20016中国

2、人民大学出版社）教材的文章。赶紧找到这期的《统计研究》，看到其中孙小素副教授的文章《加权最小二乘法残差图问题探讨一一与何晓群教授商榷》一文，以下简称《孙文》。认真拜读后感触良多。首先衷心感谢孙小素副教授阅读了我们《应用回归分析》拙作的部分章节，同时感谢《统计研究》给我们提供这样一个好的机会，使我们能够借助贵刊对加权最小二乘法的有关问题谈谈更多的认识。《孙文》谈到《应用回归分析》教材中冇关加权最小二乘法残差图的问题。摆出了与加权最小二乘法相关的三类残差图，指出笫三类残差图的局限性。直接的问题是三类残差图的作用,而更深

3、层的原因应该是对加权最小二乘法统计思想的理解和认识上的差异。二、对加权最小二乘法的认识1•加权最小二乘估计方法拙作《应用回归分析》屮对加权最小二乘法有详尽的讲述，这里仅做简耍介绍。多元线性回归方程普通最小二乘法的离差平方和为：（1）普通最小二乘估计就是寻找参数的估计值使式（1）的离差平方和达极小。式（1）中每个平方项的权数相同，是普通最小二乘回归参数估计方法。在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。然而在界方差的条件下，平方和中的每一项的地位是不相同的,误差项的方差大的项,在

4、式（1）平方和屮的取值就偏人，在平方和小的作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。山式(1)求岀的仍然是的无偏估计，但不再是最小方差线性无偏估计。加权最小二乘估计的方法是在平方和中加入-•个适当的权数，以调整各项在平方和屮的作用，加权最小二乘的离差平方和为：(2)加权最小二乘估计就是寻找参数的估计值使式(2)的离弟平方和达极小。所得加权最小二乘经验回归方程记做(3)理论上最优的权数为谋差项方差的倒数，即(4)误差项方差人的项接受小的权数，以降低

5、其在式(2)平方和屮的作用；谋差项方差小的项接受大的权数，以提高其在平方和中的作川。由(2)式求出的加权最小二乘估计就是参数的最小方差线性无偏估计。一个需耍解决的问题是课差项的方差是未知的，因此无法真正按照式(4)选取权数。在实际问题屮谋差项方差通常与自变量的水平有关，可以利用这种关系确定权数。例如与第j个自变量取值的平方成比例时，即二k时,这时取权数为(5)更一•般的情况是谋差项方差与某个自变量取值的幕函数成比例，即=k,其屮m是待定的未知参数。此时权数为(6)这时确定权数的问题转化为确定幕参数m的问题，可以借助

6、SPSS软件解决。《应用回归》书屮和《孙文》中都讲了这个方法，本文不再垂述。需要注意的是，在实际问题屮比例关系二k只是近似的，式(6)确定的权数只是式(4)最优权数的近似值，因此所得的参数最小二乘估计也只是近似的最小方差线性无偏估计。2.变量变换的加权最小二乘法《孙文》中谈到：加权最小二乘法的实质是要对原始数据实施变换，获得新的解释变量和被解释变量，变换的方法是：(表示变换后的被解释变量)(7),h=0,l,2,……,p(是对应于原始变量的新解释变量)(8)对变换后的变量()重新进行普通最小二成估计(注意，此处的回

7、归模型不包含常数项，增加了数据变换示派生岀的一个新解释变量)，即可得到加权最小二乘法的经验冋归(9)以上是《孙文》中对加权最小二乘法的解释，其屮公式(7)、(8)、(9)分别对应《孙文》中的公式(3)、(4)、(5)o2.两种方法的异同相同之处。显然，式(3)与式(9)两个回归方程是等价的，把式(3)同时乘以后就转化为式(9)o不同之处。首先，式（3）的回归方程使用起来比较方便，因为利用该冋归方程进行预测和控制时，无须按式（8）变换自变量的新值，直接将自变量的新值代入式（3）即可。对这一点孙小索副教授也是认同的。其

8、实，所有方法的优劣评价根本就在于他是否方便于建模最终的应用。其次，虽然两种加权回归方法所得的回归方程是等价的，但是对回归效果的拟合优度和检验是不同的，式（3）的加权最小二乘的总离差平方和、冋归离差平方和、残弟平方和的计算公式和关系为：（10）其中是用加权的算术平均数。由于式（9）的变换加权最小二乘冋归方程不含常数项，所以不满足离若平方和分解式,而是对直接的平