应用数理统计第5章new

《应用数理统计第5章new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第5章线性回归模型第5.1节线性模型理论第5.2节一元回归与相关分析第5.3节多元回归分析东北大学数学系第5.1节线性模型理论5.1.1线性模型的定义定义5.1.1y是可观察的随机变量，x1，…，xm是可观察的分类或数值变量，β0，…，βk是未知参数，2ε是不可观察随机误差(ε~N(0,σ))。kyf=β01++∑im(,,)x?xβεii=1称为是线性模型。Remark①线性模型中“线性”是针对未知参数β而言，许多表面上的非线性模型本质也是线性的:βx×β2y=αeε，y=αx×ε，lnε~N(0,σ)

2、；而有些模型是实质上的非线性模型：βx+2y=αeε，ε~N(0,σ)；以及Logistic模型：exp(αβ+x)y=+ε1exp(++αβx)②一些统计学家喜欢把线性模型表示成：Ey=β0+x1β1+…+xkβk含义是：线性模型就是一个随机变量的数学期望具有未知参数线性结构的统计模型。在这种意义下x1，…，xk很自然就被称为“自变量”，y也就被称作“因变量”。自变量与因变量关系是一种统计上的关系，即因变量的均值是自变量的函数，而决不能认为因变量是自变量的函数。③把模型Ey=β0+x1β1+…+xkβk

3、改写成：y=β0+x1β1+…+xkβk+ε，Eε=0为方便处理，进一步假定ε~N(0,σ2)。要处理这k+1个未知参数β0，…，βk，需要至少做n次独立试验(n＞k+1)；这些试验都在不同自变量取值下进行，其它条件都保持不变，最后写成矩阵的表达式，就是：Y=Xβ+ε，Eε=0Y=Xβ+ε，Eε=0这里Y=(y1，…，yn)T表示1.xx..111k可观察的因变量；1.xx..TX=212kβ=(β0，…，βk)表示......待估计或检验的未知参数；1.xx..，…，Tnn1

4、kε=(ε1εn)是随机误差，一般假定2εi~N(0,σ)。表示自变量，n＞k+15.1.2线性模型参数的估计Y=Xβ+ε1.未知参数β的估计采用最小二乘的标准，即寻找βˆ，使得：

5、

6、Y-X

7、

8、βˆ2=inf

9、

10、Y-Xβ

11、

12、2对所有β∈Rk+1这样得到的β的估计称为是最小二乘估计(LSE)LSE的求解思路：平方和分解

13、

14、Y–Xβ

15、

16、2=

17、

18、Y–X+X(–βˆβˆβ)

19、

20、2=

21、

22、Y–X

23、

24、βˆ2+

25、

26、X(–βˆβ)

27、

28、2+2(–βˆβ)TXT(Y–X)βˆ因此要使得对一切β∈Rk+1都有

29、

30、Y–Xβ

31、

32、2≥

33、

34、

35、Y–X

36、

37、βˆ2，充分必要条件是：(–βˆβ)TXT(Y–X)=0βˆ对一切β∈Rk+1都成立由于β是Rk+1中任意一个向量，所以XT(Y–X)βˆ必须是一个k+1维零向量，即：(XTX)=XβˆTY(正规方程)如果X是满秩矩阵即rk(X)=k+1时，正规方程的解：βˆ=(XTX)-1XTY≡S-1XTY就称为是线性模型Y=Xβ+ε中参数向量β的最小二乘估计(LSE)Xβˆ称为是经验回归函数，Y=Xβˆ是经验回归方程。2.误差方差2σ的估计把线性模型Y=Xβ+ε改写成如下形式：yi=β0+β1xi1+

38、…+βkxik+εi，1≤i≤n定义“残差”(Residual)ei=yi--βˆβˆxi1-…-βˆxik，1≤i≤n01k作为随机误差εi的“估计”，则残差平方和：Q=e2+e2+…+e2e12n=

39、

40、Y-X

41、

42、βˆ2=YT(I-XS–1XT)Yn可以作为2σ的估计(注意需要修正！)定理5.1.1线性模型的最小二乘估计(1)对于模型Y=Xβ+ε，β的LSE是βˆ=S-1XTY(2)σ2的LSE是σˆ2=————Y1T(I-XS–1XT)Ynn-k-1思考既然n个观察数据y1，…，yn的方差都是σ2，为

43、什么不使用这组数据的样本方差,而是要用残差平方和修正以后去估计2σ？最小二乘估计的矩阵代数含义考虑矩阵X的k+1个n维列向量生成的Rn中的线性子空间µ(X)，不难证明µ(X)=µ(XXT)。由于XS–1XT是一个对称、幂等的n阶方阵，即它是一个正投影阵，恰好是µ(X)的投影矩阵；而In–XS-1XT是µ(X)的正交子空间µ⊥(X)的投影矩阵，因此Xβˆ是Y到子空间µ(X)中的投影，2⊥σ的LSE只和Y在µ(X)的投影向量有关。µ⊥(X)Yµ(X)3.最小二乘估计的无偏性质引理5.1.2随机向量的期望与方差

44、公式(1)如果Y是n维随机向量，A是n阶对称矩阵则E(YTAY)=(EY)TA(EY)+tr{A[Var(Y)]}；(2)如果Y是n维随机向量，B是m×n阶矩阵则Var(BY)=B[Var(Y)]BTRemarkVar(Y)是Y的协方差矩阵(Cov(yi,yj))n×n；迹(Trace)具有如下性质：tr(AB)=tr(BA)，tr(A-B)=tr(A)-tr(B)注意到线性模型的形式Y=Xβ+ε，因此EY=Xβ，Var(Y)