回归诊断在统计数据异常值探测中的应用

《回归诊断在统计数据异常值探测中的应用》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、回归诊断在统计数据异常值探测中的应用回归诊断在统计数据异常值探测中的应用［摘耍］近年来有关异常值的理论探讨一直是个热点问题，从回归模型诊断的角度对统计数据中的异常值进行探测与分析，并在基于R语言的基础上，结合具体实例，给出回归诊断在统计数据异常值探测中的应用。［关键词］回归诊断；R；异常值［中图分类号］C82［文献标识码］A［文章编号］1002-2880(2011)02-0118-02异常值是指一批数据中有部分数据与整体中其他数据相比存在明显不一致，也称为异常数据，或称离群值。异常值的出现可能是由于记录错误引起的，也可能由于该数据值不属于这个数据集，或

2、者本来就是如此，需要进一步的调查。异常值是影响统计数据质量的一个非常重要的因素，近年来有关异常值的理论探讨一直是个热点问题;目前研究的重点一直放在统计法律制度的健全以及统计工作程序完善等方面。笔者更关注的则是统计数据的误差问题，即所提供的统计数据与客观的社会经济现象实际的数量特征之间的差距问题。异常值的存在，使得统计分析的误差大大增大。因此，在利用已得数据进行统计分析之前，必须对异常值进行探测和检验，从回归模型诊断的角度探测与分析统计数据屮的异常值进行。在统计软件方面，常用的统计软件有SPSS、SAS、STAT、R、S-PLUS等。R软件是一个自由、免

3、费、开源的软件，是一个具有强大统计分析功能和优秀统计制图功能的统计软件，现已是国内外众多统计学者喜爱的数据分析工具。本文结合实例介绍了R软件在对统计数据异常值探测中的应用。一、回归诊断理论1.残差设线性冋归模型为：Y二XB+£其中Y是由响应变量构成的n维向量,X是nX(P+1)阶设计矩阵,B是P+1维向量，£是口维误差向量。回归系数的估计值：3^(XTX)-IXTY拟合值厂为：Y^X(XTX)-1XTY残差为£H一般來说，在模型恰当的情况下，所计算的残差应该比较小，各个样本点计算的对应的残差也较小，如果某个点计算的残差值较大,说明该点可能是异常值点。2

4、.Cook统计量Cook在1977年提出了Cook统计量，Cook统计量定义为：Di二(旷-旷(i))TXTX(旷-旷(i))(p+1)oJ,i二1,2,…，n。其中37i)为删除第i个样本数据后，由余下的门-1个样本数据求的回归系数的估计值。直观上，Cook统计量Di越大的点，越可能是异常值点，在应用上要视具体问题的实际情况而定。二、基于R语言的回归诊断异常值检验程序1•基于R语言的残差计算程序图1是残差散点图，从图形上看，第2号样本点明显偏离其他的样木点；图2是标准化残差绝对值的开方的残差图，第2号样本点标准化残差的开方大于1・5,说明第2号样木点

5、在95%的范围以外；图3表示的是Cook距离，第2号样本点的值最大，说明笫2号样本点可能是异常值点；图4给出了回归直线和样本点的散点图，第2号样木点明显偏上。综上分析，青岛市居民2008年平均工资收入和居民居住支出相对于该模型为异常值点，具体情况需做相关调查。［参考文献］［1］王松贵，张忠占，程维虎，高旅端•概率论与数理统计［M］•北京：科学出版社，2007.［2］汤银才.R语言与统计分析［M］・北京：高等教育出版社，2008.[3]薛毅，陈立萍.统计建模与R软件[M]・北京：清华大学出版社，2009.（责任编辑：刘润婉）