应用回归分析 总复习

《应用回归分析 总复习》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、一元线性回归线性回归多元线性回归讨论如何从数据推断回归模型基本假设的合理性回归诊断当基本假设不成立时如何对数据进行修正自变量选择的准则回归变量的选择回归分析逐步回归分析方法岭回归参数估计方法的改进主成分回归非线性回归可化为线性回归的曲线回归自变量含定性变量的情况含有定性变量的回归因变量是定性变量的情况一元线性回归1一元线性回归模型2参数β0、β1的估计3最小二乘估计的性质4回归方程的显著性检验5残差分析6回归系数的区间估计7预测1一元线性回归模型一元线性回归模型y=β+βx+ε

2、01E()02var()回归方程E（y

3、x）=β0+β1xyxˆˆˆ经验回归方程012参数β、β的估计01一、普通最小二乘估计(OrdinaryLeastSquareEstimation,简记为OLSE)最小二乘法就是寻找参数β、β的估计值使离差平方和达极小01n2Q(ˆ0,ˆ1)(yiˆ0ˆ1xi)i1n2min(yi01xi)0,1i12参数β、β的估计01ˆyˆx01得OLSE为ˆ1Lxy/Lxxnn222Lxx(xix)xin(x)i1i

4、1记nnLxy(xix)(yiy)xiyinxyi1i12参数β、β的估计01二、最大似然估计在假设ε～N(0,σ2)时,知y服从正态分布:ii2y~N(x,)i01iˆyˆx01ˆ1Lxy/Lxxn221()yxii01ni13最小二乘估计的性质一、线性ˆ、ˆ01是y1,y2,…,ynn的线性函数：(xix)yinxxˆi1iy1nni2i12(xix)(xix)i1i13最小二乘估计的性质二、无偏性n其中用到xxiE(ˆ)E(y)

5、(xx)01niii12(xjx)2(xix)xi(xix)j1nxxin(01xi)i12(xjx)j113最小二乘估计的性质ˆ、ˆ三、01的方差2nxix2nvar(ˆ1)2var(yi)ni1(xjx)2j1(xjx)j11(x)22var(ˆ0)2n(xix)x2cov(ˆ,ˆ)01Lxx3最小二乘估计的性质ˆ、ˆ三、01的方差21(x)2ˆ~N(,())在正态假设下00nLxx2

6、ˆ~N(,)11LxxGaussMarkov条件E(ε)0,i1,2,,ni2σ,ijcov(εi,εj)(i,j1,2,,n)0,ij4回归方程的显著性检验一、t检验原假设：H：β=001对立假设：H：β≠0112由ˆ~N(,)11Lxx当原假设H：β=0成立时有：012ˆ~N(0,)1Lxx4回归方程的显著性检验一、t检验构造t统计量ˆˆLxx11tˆ2Lˆxxnn21212其中ˆeyyˆiiin2i1n2i14回归方程的显著性检验二、F检验平方和分解式nn

7、n222(yiy)(yˆiy)(yiyˆi)i1i1i1SST=SSR+SSE构造F检验统计量SSR/1FSSE/(n2)4回归方程的显著性检验三、相关系数的显著性检验n(xix)(yiy)LLri1xyˆxx1nnLLL22xxyyyy(xix)(yiy)i1i14回归方程的显著性检验五、三种检验的关系ˆˆLxx11H:=0t0ˆ2Lˆxxn2rtH0:r=021rSSR/1H0:回归无效FSSE/(n2)4回归方程的显著性检验六、样本决定系数n2(yˆiy

8、)2SSRi1rnSST2(yiy)i122SSRLxy2可以证明r(r)SSTLLxxyy6回归系数的区间估计2ˆ~N(,)11Lxxˆ11(ˆ11)Lxxt~t(n2)ˆ2/Lˆxx(ˆ)LP11xxt(n2)1/2ˆˆˆ等价于P(ˆtˆt)11/211/2LLxxxx(ˆtˆ,ˆtˆ)β1的1-α1/21/2置信区间LLxxxx因变量新值的区间预测yyˆP00t(n2)1/21hˆ

9、00y的置信概率为1-α的置信区间为0yˆt(n2)1hˆ0/200y的置信度为95%的置信区间近似为0yˆ2ˆ0因变量平均值的区间估计E(y)=β+βx是常数