多元线性回归分析的基本思想和方法

《多元线性回归分析的基本思想和方法》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、WORD文档下载可编辑第一节引言   在第一章我们讨论了因变量y只与一个自变量x有关的一元线性回归问题。但在实际中我们常常会遇到因变量y与多个自变量有关的情况，这就向我们提出了多元回归分析的问题。多元回归中最简单的是多元线性回归。多元线性回归分析的基本思想和方法与一元线性回归分析是相同的，即使残差平方和Q达到最小值。但是，由于多元线性回归分析涉及多个变量之间的相关关系，使问题变得更加复杂。   假设随机变量y与p个自变量之间存在着线性相关关系，实际样本量为n,其第i次观测值为   则其n次观测值可写为如下形式：    （2-

2、2-1）   其中是未知参数，是p个可以精确测量并可控制的一般变量,是随机误差。和一元线性回归分析一样，我们假定是相互独立且服从同一正态分布N(0,)的随机变量。   若将方程组(2-2-1)用矩阵表示，则有（2-2-2）   式中专业技术资料分享WORD文档下载可编辑 多元线性回归分析的首要任务就是通过寻求的估计值b，建立多元线性回归方程（2-2-3）   来描述多元线性模型    （2-2-4）   本章主要介绍以下内容：用最小二乘原理估计和，对回归方程和回归系数的显著性进行检验，利用回归方程进行予报和控制，以及在估计的

3、过程中解线性方程组要用到的高斯消去法和消去变换。第二节多元线性回归方程的建立   建立多元线性回归方程，实际上是对多元线性模型（2-2-4）进行估计，寻求估计式（2-2-3）的过程。与一元线性回归分析相同，其基本思想是根据最小二乘原理，求解使全部观测值与回归值的残差平方和达到最小值。由于残差平方和（2-2-5）   是的非负二次式，所以它的最小值一定存在。   根据极值原理，当Q取得极值时，应满足专业技术资料分享WORD文档下载可编辑   由（2-2-5）式，即满足（2-2-6）   (2-2-6）式称为正规方程组。它可以化

4、为以下形式（2-2-7）   如果用A表示上述方程组的系数矩阵可以看出A是对称矩阵。则有（2-2-8）　 式中X是多元线性回归模型中数据的结构矩阵，是结构矩阵X的转置矩阵。专业技术资料分享WORD文档下载可编辑 (2-2-7)式右端常数项也可用矩阵D来表示   即   因此(2-2-7)式可写成Ab=D（2-2-10）   或（2-2-11）如果A满秩（即A的行列式）那么A的逆矩阵A-1存在，则由(2-10)式和(2-11)式得的最小二乘估计为（2-2-12）  也就是多元线性回归方程的回归系数。 为了计算方便往往并不先求，

5、再求b，而是通过解线性方程组(2-2-7)来求b。(2-2-7)是一个有p+1个未知量的线性方程组，它的第一个方程可化为（2-2-13）   式中专业技术资料分享WORD文档下载可编辑（2-2-14）   将（2-2-13）式代入（2-2-7）式中的其余各方程，得（2-2-15）   其中（2-2-16）   将方程组（2-2-15）式用矩阵表示，则有Lb=F（2-2-17）   其中   于是b=L-1F（2-2-18） 因此求解多元线性回归方程的系数可由（2-2-16）式先求出L，然后将其代回（2-2-17）式中求解。求

6、b时，可用克莱姆法则求解，也可通过高斯变换求解。如果把b直接代入（2-2-18）式，由于要先求出L的逆矩阵，因而相对复杂一些。 例2-2-1专业技术资料分享WORD文档下载可编辑表2-2-1为某地区土壤内含植物可给态磷(y)与土壤内所含无机磷浓度(x1)、土壤内溶于K2CO3溶液并受溴化物水解的有机磷浓度(x2)以及土壤内溶于K2CO3溶液但不溶于溴化物的有机磷(x3)的观察数据。求y对x1,x2,x3的线性回归方程 。表2-2-1土壤含磷情况观察数据   计算如下：   由(2-2-16)式专业技术资料分享WORD文档下载

7、可编辑   代入(2-2-15)式得（2-2-19）   若用克莱姆法则解上述方程组，则其解为专业技术资料分享WORD文档下载可编辑（2-2-20）   其中   计算得b1=1.7848，b2=-0.0834，b3=0.1611    回归方程为 应用克莱姆法则求解线性方程组计算量偏大，下面介绍更实用的方法——高斯消去法和消去变换。第三节高斯消去法与消去变换   从上节的讨论我们知道，要建立多元线性回归方程需要求解线性方程组。当n较大时解线性方程组变得相当困难。本节介绍的高斯消去法与消去变换是目前用来解多元线性方程组的方法

8、中比较简单可行的方法。   一、高斯消去法   高斯消去法专业技术资料分享WORD文档下载可编辑就是通过矩阵的行变换达到消元的目的，从而将方程组的系数矩阵由对称矩阵变为三角矩阵，最后获得方程组的解。为简明起见，下面我们利用四元线性方程组来说明高斯消去法的基本思路和解题步骤，对于自变量数更多