应用数理统计第10章回归分析

《应用数理统计第10章回归分析》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第十章回归分析回归分析的基本概念一元线性回归多元线性回归§10.1回归分析基本概念一.相关关系1、函数关系——确定性y=f(x)；2、相关关系——非确定性Y=f(x,)，其中为随机变量。常把上述关系表为:Y=f(x)+相关关系式中最简单、最常用的一种是线性回归,即其中f(x)=L(x)=ax+b的情形.二、一元线性回归的数学模型1、一元线性理论回归模型y01x2（10.1.1）~N(0,)其中01x为确定性部分，0、1为未知参数2、一元线性回归模型对(x,y)作n次独立观察，得n组数据(xi,yi)，代入（10.1）得一

2、元线性回归模型yi01xii2i1,,n（10.1.2）~N(0,)且相互独立,i^^由(xi,yi)的值可作出0、1的估计0,1从而可得^^^yx01上述方程称为一元线性经验回归方程（简称回归方程）§10﹒2一元线性回归参数的最小二乘估计模型线性性的检验预测与控制一、参数的最小二乘估计考虑一元线性理论回归模型y01x2(10.2.1)~N(0,)若我们对（x,y）做n次独立的观察,可获得n组相互独立的观测值(x;y),i1,,n(10.2.2)ii代入（10.2.1）可得一元线性回归模型:

3、yi01xii2i1,,n(10.2.3)~N(0,)且相互独立,i1.0,1的最小二乘估计先讨论问题:如何由(10.2.2)去估计(10.2.3)中的参数0,1与2。若已得到0,1的估计ˆ0,ˆ1则线性方程yˆˆˆx,(10.2.4)01称为一元线性经验回归方程（简称回归方程）。于是对(10.2.2)的每一组观测值，由(10.2.4)均可求得一个相应的值yˆˆˆx,i1,,n(10.2.5)i01iyˆ常称为回归值或预测值、拟合值等。i我们总希望由估计ˆ,ˆ所定出的01回归方程能使一切y与yˆ之

4、间的偏差达到ii最小，根据最小二乘法的原理，即要求nn22(yiyˆ)(yiˆ0ˆ1xi)mini1i1n2令QQ(0,1)(yi01xi)i1ˆ,ˆ则01必须满足以下方程组（由微积分）nQ2(yi01xi)0,0i1nQ2(yi01xi)xi0,1i1n用代替，经整理即得i1n0xi1yi2(10.2.6)xi0xi1xiyi(10.2.6)称为正规方程组，在xi,i=1,…,n不全相等时它有唯一解ˆxiyi

5、nxy122xinx(10.2.7)ˆyˆx01容易验证,上式中ˆ,ˆ的确能使Q达到最小,因此他01们是0,1的最小二乘估计.yˆyˆ(xx)(10.2.8)1可见,回归方程的图形是通过点(),x,y斜率为ˆ1的直线.称此直线为回归直线.2.最小二乘估计的性质及2的估计Lxy(xix)(yiy)xiyinxy令L(xx)2x2nx2(10.2.9)xxii222Lyy(yiy)ynyi则(10.2.7)和(10.2.8)可表为:Lˆxy1L1xx和yˆyLx

6、yLxx(xx)ˆyˆx01此时的残差平方和Q(ˆ0,ˆ1)最小,记为Se,称为剩余平方和.即n2SeQ(ˆ0,ˆ1)(yiyˆi)(10.2.12)i1进一步分析,可得n2Se[yiyˆ1(xix)]i1222(yiy)ˆ1(xix)2ˆ1(xix)(yiy)由于ˆLL,故1xxxy2SeLyyˆ1Lxx2ˆ1LxyLyyˆ1Lxy(10.2.13)iid很明显,ˆ,ˆ,S都是统计量,在,,~(,2)01e1nN0的假设下,它们具如下性质:(设x0为自变量x的值

7、.)221x2(1)ˆ~N(,());(2)ˆ~N(,);0011nLLxxxx21(x0x)2(3)yˆˆˆx~N(x,());0010010nLxxSe2(4)~(n2),且与(ˆ,ˆ)相互独立.201例10.2.1在硝酸钠(NaNO3)的溶解度试验中,测得在不同温度0x(C)下,溶解于100份水中的硝酸钠份数y的数据如下表所示.x0410152129365168iyi66.771.076.380.685.792.999.4113.6125.1求,的最小二乘估计ˆ,ˆ及2的无偏估计,并写出回归方0101程.

8、解编制计算