应用多元统计分析课件 03. 多元回归分析.ppt

《应用多元统计分析课件 03. 多元回归分析.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、应用多元统计分析第三章多元回归分析2第三章多元回归分析本章主要讨论:●多元线性回归分析●自变量选择与逐步回归分析●回归分析应用实例第一节多元线性回归分析本节基本内容:一、模型和参数估计二、模型检验三、多重共线性一、模型和参数估计(一)总体回归模型其中:因变量为随机变量，自变量为确定变量，是固定的但未知的参数，称为总体回归系数；称为随机误差项，表示除了自变量以外被忽略的或无法考虑的其他随机的影响因素。线性：指可表述为未知参数的线性函数。对于一个实际问题，如果我们获得组观测数据：则线性回归模型可表述为一、模型和参数估计一、模型和参数估计写成矩阵形式为其中，为了估计模型，要求：，一、模型和参

2、数估计为了能对回归模型进行假设检验，还需假定随机误差项服从正态分布：值得注意的是，对回归模型的解释，主要是对参数()的解释，的含义为保持其他自变量不变，当变动一个单位时，对因变量的平均影响程度。(二)参数估计一、模型和参数估计现实情况下，总体参数未知，一般需根据样本资料建立样本回归模型，从而推断总体模型，利用样本资料，可以构建模型其中，是对的估计。需要指出的是，不是像那样是固定的数值，而是随着样本的不同，可以有不同取值，由于样本是随机的，也是随机变量。可由最小二乘法估计得到。一、模型和参数估计最小二乘法：其原理是使残差平方和达到最小，即达到最小。解形如下式的正规方程：一、模型和参数估计

3、将其写为矩阵形式：即经过一系列求解，可得：一、模型和参数估计上式中的估计量称为回归参数的最小二乘估计，具有以下的统计特性：(1)线性性。由其表达式可以看出，估计量是()的线性函数。进一步地，()在获得具体观测之前是随机变量，由此来讲，估计量也是随机变量。(2)无偏性。在假定(3.6)的情况下，估计量的期望分别为总体参数。也就是说，估计量是总体参数的无偏估计。一、模型和参数估计(3)最小方差性。在假定(3.6)的情况下，的协差阵为，()的方差是乘以正规方程系数矩阵逆矩阵中相应对角线元素。可以证明最小二乘估计量在线性无偏估计中具有最小方差。(4)正态性。在随机误差项服从正态分布的假定下，还

4、可以进一步证明最小二乘法估计量服从正态分布，即此时，最小二乘估计是一切无偏估计中方差最小的估计。特别地，有()，其中，表示矩阵中第行第列的元素。二、模型检验通常来说，模型的设定只是基于定性分析作出的假设。这种假设是否符合实际，能否得到样本数据的支持，还需要在求出线性回归方程后，对回归方程进行显著性检验。多元线性回归方程的显著性检验与一元线性回归方程的显著性检验思想是一致的，但也有不同之处。这里我们介绍两种方法，一是回归方程整体显著性的检验，另一个是回归系数显著性的检验。同时，我们还介绍度量回归拟合程度的可决系数，并讨论可决系数与检验的联系。（一）回归方程的显著性检验回归方程检验，检验回

5、归方程的回归拟合效果是否显著，实质是对回归模型的整体线性关系的显著性检验，即检验下列假设是否为真如果假设不能被拒绝，则表明随机变量与解释变量之间的关系由线性回归模型来表述是不恰当的。该检验我们可以通过构建统计量来进行：二、模型检验二、模型检验当原假设成立时，可以利用该分布对回归方程的整体显著性水平进行检验。（二）回归系数的显著性检验在多元回归模型中，自变量对因变量的影响是否显著，主要体现为回归系数是否与0存在差异，当某个自变量回归系数为0时，该自变量在回归方程中就不会产生实质影响效应。因此，检验转化为回归系数是否等于0的问题。二、模型检验因此，待检验的假设为注意：在检验中往往未知，一般

6、采用无偏估计量由此，可构造t统计量其中当原假设成立时，构造的统计量服从自由度为的t分布。二、模型检验（三）可决系数以及修正可决系数可决系数用以描述回归方程对样本观测值的拟合程度。其计算公式为可决系数就是被回归模型解释的波动(回归平方和)占因变量观测值总波动(总离差平方和)的比重，其取值在的区间内。越接近1，表明回归方程对样本数据拟合程度越高，模型对预测越有意义；反之，越接近0，表明回归方程拟合效果越差。二、模型检验为了拟合优度受模型中自变量个数的影响，可采用自由度修正可决系数。修正可决系数公式为：分子是残差项的样本方差，分母是因变量的样本方差，二者都考虑了自由度，剔除了受自变量个数影响

7、的问题。实际应用中，常常将与结合应用，以说明回归效果的有效性。将上面两式的结果结合，可得相互的关系为二、模型检验还可进一步得到统计量与的关系为：需要指出，是测定因变量观测值的总离差平方和由回归模型解释的部分所占比重。而检验是因变量和一组变量()之间是否有线性回归关系的检验。三、多重共线性在总体模型中，我们曾假定自变量为非随机变量，且不存在完全的线性关系(即假定满秩)，否则，回归模型无法求解。一般在实际应用中，只要变量选择得当，不会出现自变量之间