第二节 多元线性回归.doc

《第二节 多元线性回归.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二节多元线性回归在许多实际问题中，常常会遇到要研究一个随机变量与多个变量之间的相关关系，例如，某种产品的销售额不仅受到投入的广告费用的影响，通常还与产品的价格、消费者的收入状况以及其它可替代产品的价格等诸多因素有关系.研究这种一个随机变量同其他多个变量之间的关系的主要方法是运用多元回归分析.多元线性回归分析是一元线性回归分析的自然推广形式，两者在参数估计、显著性检验等方面非常相似.本节只简单介绍多元线性回归的数学模型及其最小二乘估计.一、多元线性回归模型设影响因变量Y的自变量个数为P，并分别记为所谓多元线性模型是指这些自变量对Y的影响是线性的，即，其中，是与无关的未知参数

2、，称Y为对自变量的线性回归函数.记n组样本分别是，则有,其中相互独立，且，，这个模型称为多元线性回归的数学模型.令Y=,=,,则上述数学模型可用矩阵形式表示为其中是n维随机向量，它的分量相互独立。称为设计矩阵或资料矩阵。二、多元线性回归模型的基本假定1.解释变量是确定性的变量，不是随机变量，设计矩阵中要求列向量不能有密切的线性相关性，也称为多重共线性；2.随机误差项具有0均值和同方差，且随机误差项相互独立，即：3.正态分布条件：，其中I表示单位矩阵。三、回归参数的最小二乘估计（OLSE）与一元线性回归类似，我们采用最小二乘法估计参数，引入偏差平方和=最小二乘估计就是求=，使

3、得=因为是的非负二次型，故其最小值一定存在。根据多元微积分的极值原理，令上述方程组称为正规方程组，可用矩阵表示为在系数矩阵满秩的条件下，可解得就是的最小二乘估计，即为回归方程的回归系数.可以进一步给出的分布参数，，的无偏估计为（详细过程略）注：称为残差平方和与前面提到的剩余平方和相同，即随机项的平方和。四、回归方程显著性检验这里介绍两种方法：一是拟合优度检验；二是F检验。1.拟合优度检验就是检验回归方程对样本观测值的拟合程度。，是地i个样本点上的回归值。类似一元线性回归分析中，其中反映了自变量x的变化所引起的y的波动，而反映测量误差及随机因素对y的影响，由和的意义可知，一个

4、好的回归方程，它应该较好的拟合样本观测值。总的离差平方和中回归平方和所占的比例越大，则回归效果越好；残差平方和所占的比例越大，则效果越不好。于是可定义：,,前者称为样本决定系数，后者称为y关于样本复相关系数，如果回归方程完全拟合了样本，则样本决定系数为1，而这只是一种极端的情况，在实际问题中不可能发生，但越接近于1，拟合效果越高。但是这种方法有可能出现虚假现象：的大小还跟样本的个数有关，当样本个数与自变量的个数接近时，决定系数易接近与1。所以使用时要谨慎使用。2.F检验：对回归方程的显著性检验，就是要看自变量从整体上对随机变量y是否有明显的影响。为此，可提出假设,如果接受假

5、设，则表明回归方程不合适。类似一元线性回归方程检验，可建立F统计量，若，则拒绝假设，方程显著；否则接受假设，方程不显著，在进行调整分析，一般考虑实际问题是否满足回归假设条件。五、回归系数显著性检验1.回归系数显著性检验在多元线性回归分析中，回归方程显著并不意味着每个自变量对y的影响都显著，因此有必要剔除那些次要的变量，重新建立更为简单的回归模型，所以就要我们对每个自变量进行显著性检验。不难理解，检验变量是否显著，等价于检验假设，如果接受假设，则不显著；拒绝则是显著的。在假设条件下，可采用统计量或，其中是矩阵对角线上第i个元素。后面将会以实例说明方法，一般原则是每次只剔除一个

6、变量，先剔除其中F值最小的变量，然后在利用OLSE方法得到新的回归方程，再进行检验，有不显著的剔除，直到到保留变量对y的影响都显著为止。2.偏相关系数在多元线性回归分析中，其他变量被固定后，给定的任意两个变量之间的相关系数，叫偏相关系数。偏相关系数可以度量任意两个变量的线性相关性。计算公式如下：在实际应用中，我们认为偏相关系数才是真正反映因变量y与自变量x以及和的相关性质的量。根据偏相关系数可以判断哪些变量对y的影响较大，因而选择作为必须考虑的自变量，而对于哪些影响小的变量可以舍去，所以剔除变量时可以结合偏相关系数讨论。3.回归系数的置信区间有时我们不仅要知道系数的估计量，

7、还要知道的与接近程度如何，这就是要进行置信区间的求解。有结论，为的标准差。在给定的显著水平下，有置信区间，一一求解即可。4.关于标准化回归系数在多元线性回归方程描述某种经济现象时，由于所以单位大都不相同，数据的大小差异也比较大，这就不利于放在同一标准上进行比较。为了消除量纲的影响，就需要将样本数据标准化处理，然后用最小二乘法估计未知参数，得到是比较自变量对y影响相对重要性的一种较为理想的方法。如何标准化这里就不详细说明了。有了标准化回归系数，变量的相对重要性就容易进行比较了。5.多元回归分析数据的定义：一般说来，多