sas讲义_第三十二课_多元线性回归分析报告

《sas讲义_第三十二课_多元线性回归分析报告》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、实用文案第三十二课多元线性回归分析一、多元回归模型表示法通常，回归模型包括k个变量，即一个因变量和k个自变量（包括常数项）。由于具有N个方程来概括回归模型：YXXX,t1,2,,N(32.1)t011t22tkktt模型的相应矩阵方程表示为：YX(32.2)式中;Y11X11Xk101Y21X12Xk212Y,X,,(32.3)Y1XXN1NkNkN其中,Y为因变量观察

2、的N列向量，X为自变量观察的N×(k+1)矩阵，为末知参数的(k+1))列向量，为误差观察的N列向量。在矩阵X表达式中，每一个元素X都有两个下标，第一个下标表示相应的列（变量），ij第二个下标表示相应的行（观察）。矩阵X的每一列表示相应的给定变量的N次观察的向量，与截矩有关的所有观察值都等于1。经典的线性回归模型的假设可以阐述如下：模型形式由(32.1)给定；矩阵X的元素都是确定的，X的秩为(k+1)，且k小于观察数N；2为正态分布，E()=0和EI，式中I为N×N单位矩阵。根据X的秩为(k+1)的假定，可以保证不会出现共线性。如果出现

3、完全共线性，矩阵X的一列将为其余列的线性组合，而X的秩将小于(k+1))，关于误差的假设是最有用的假设，因为用它可以保证最小二乘法估计过程的统计性质。除了正态性外，我们还假定每一个误差项的平均值为0，方差为常数，以及协方差为0。假若我们按Y的分布来表示第三个假设，则可写成下式：2Y~N(X,I)(32.4)二、最小二乘法估计我们的目的是求出一个参数向量使得残差平方和最小，即：标准文档实用文案N2ESSˆtˆˆ(32.5)t1式中：ˆYYˆ(32.6)YˆXˆ(32.7)其中，ˆ表示回归残差的N列向量，而Yˆ表示Y拟合值的N列

4、向量，ˆ表示为估计参数的(k+1)列向量，将式(32.6)和式(32.7)代入式(32.5)，则得：ESSYXˆYXˆ(32.8)YY2ˆXYˆXXˆ为了确定最小二乘法估计量，我们求ESS对ˆ进行微分，并使之等于0，即：ESS2XY2XXˆ0(32.9)ˆ所以：ˆXX1(XY)(32.10)被称为“交叉乘积矩阵”，即XX矩阵能够保证逆变换，这是因为我们假设X的秩为(k+1),该假设直接导致了XX的非奇异性。最小化的二阶条件是，XX是一个正定矩阵。最小二乘法残差有一个有益的

5、特性，即：XˆXYXˆXYXXˆ0(32.11)这个结果说明自变量和残差的交叉乘积的总和为O，这个公式在一些推导中是非常有用的。现在可以考虑最小二乘估计量的性质。首先可以证明它们是无偏估计量。因为：ˆXX1XYXX1XXXX1X(32.12)1设式中AXXX，且是常数，这样：EEAAE(32.13)根据式(32.13)，可以看到，只要遗漏变量都是随机分布的，与X无关，并且具有0均值，则最小二乘法估计量将是无偏的。Var(ˆ)E

6、[(ˆ)(ˆ)]11XXXEXXX(32.14)21XX我们看到，最小二乘法估计量为线性和无偏估计量。事实上，ˆ为的最佳线性无偏估标准文档实用文案计量，也就是说，它在全部无偏估计量中方差最小，这就是著名的高斯－马尔可夫定理。为了证明高斯－马尔可夫定理，我们需要证明，任何其他线性估计量b的方差比ˆ的方差大。请注意ˆ=AY。为了不失去一般性，我们可写成：b(AC)Y(AC)X(AC)(32.15)假如b是无偏的，则：1EbXXXXCXICX(32.1

7、6)式(32.16)成立的一个必要和充分的条件是CX0，这样就可以研究矩阵Var(b)。由于b(AC)，所以有：Var(b)E[(b)(b)]E{[(AC)][(AC)]}(32.17)E[(AC)(AC)]E[][(AC)(AC)]由于：ACACAACAACCC1111XXXXXXCXXXXXXCCC1因为CXXC0，所以ACACXXCC，即：21Var(b)[XX

8、CC](32.18)2Var(ˆ)CC我们可以看出