线性回归分析及应用4

《线性回归分析及应用4》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章：线性模型参数估计与分布理论4.1最小二乘估计(LeastSquaredEstimate)线性模型YXe，n1npp1n1其中Ee0，通常对误差e两种假定：221.Cov(e)I，未知；n222.e~N(0,I)，未知。n由最小二乘法的思想，的估计应选择使得22Q()eYX(YX)(YX)达到最小。22若ˆ使得YXˆminYX，则称ˆ为的一个最小二乘解。极小化Q()，Q()则需满足方程0，即得到正规方程XXXY。正规方程的所有

2、解为(XX)XY。定理4.1.1：ˆ是最小二乘解ˆ是正规方程的解，即ˆ(XX)XY。最小二乘法几何解释：22minYXminY(X)YYXˆXˆX()X当rank(X)p时，最小二乘解有唯一解1ˆ(XX)XY，且此时ˆ为的无偏估计，21即Eˆ，方差Var(ˆ)(XX)。当rank(X)p时，最小二乘解不唯一，此时最小二乘解中无ˆ能作为的无偏估计。此外可以证明此时的无偏估计不存在，此时称为不可估的(nonestimable)。定义4.1

3、.1：c为的某一线性函数(c已知)，若存在Y的线性函数aY使得EaYc，，则称c是可估函数。可估性的含义可由下面的例子形象说明。例1：设两个物体重量,未知，把它们12同时放在天平上称n次，第i次结果为y，模型为iye,i1,,n.i12i其中e为第i次称量误差，且设i2e(e1,,en)，Ee0,Var(e)In。令c(1,1),(,)，则c是1212可估的，例如y就是其一个无偏估计，但1,都不可估。(或)不可估的理由很1212清楚，因

4、为每次称量都是两物体一起称，当然无法由结果对其中单独一个物体的重量作“估计”。定理4.1.2：以下三条等价1.c可估；2.XXcc；12123.c(X)。注：1.一切c可估rank(X)p。2.若c1,c2可估，则任线性组合cc也是可估。若c,c线性无关，112212称c1,c2也线性无关。对线性模型来说之多有rank(X)个线性无关的可估函数。3.若c可估，ˆ是最小二乘解，则cˆ值唯一，与广义逆(XX)的选取无关；此外cˆ是c的无偏估

5、计。定义4.1.2：设c可估，称cˆ为c的最小二乘估计。若c可估，aY为其一无偏估计，对b(X)，(ab)Y都是c的无偏估计。在所有线性无偏估计中，找出方差最小的估计，此估计称为最优线性无偏估计(BestLinearUnbiasedEstimate，简写成BLUE)，或称为Gauss-Markov估计(GM估计)。定理4.1.3：(Gauss-Markov定理)若c可估，则cˆ是其唯一的GM估计(ˆ为的LS估计)。注：在一切线性无偏估计类中，cˆ是方差最小的，但不排除比c

6、ˆ方差更小的非线性无偏估计；但若误差分布还是正态分布，则这种可能性不存在。2下面考虑的估计。令eˆYXˆ(IP)Y，称为残差(residual)nX2向量，Eeˆ0,Cov(eˆ)(InPX)。定理4.1.4：设rrank(X)，则np22eˆeˆYXˆY(IP)YnXˆnrnrnr2为的无偏估计。4.2分布理论迄今为止，关于误差的假定是满足GM条件，若误差还服从正态分布即2e~N(0,I)，则可以确定一些估计量的精nn确分布。定理4.2.1：在误差正态分布假设下，设c

7、为可估函数，ˆ(XX)XY，rank(X)r，则：1.cˆ为c的极大似然估计(MLE)，且2cˆ~Nc,c(XX)c；2nr22(nr)ˆ22.ˆ是的MLE，且2~nr；n23.cˆ与ˆ独立。注：对可估函数来说，其LSE与MLE一致；但对误差方差的估计，LSE是无偏的，MLE是有偏的。定理4.2.2：在正态误差假设下1.TYY，TXY是完全、充分统计量；122.若c可估，则cˆ是唯一最小方差无偏估计(MinimumVarianceUnbias

8、edEstimate，简写MVUE)；223.ˆ为的MVUE。4.3有线性约束时的估计考虑线性模型，其系数满足线性约束条件Ld(此约束为相容性方程)。不失一般性可假设d0(否则，取使得Ld，令00~~YYX,，考虑线性模型00~~~YXe，此时线性约束变为L0