第十三章回归分析

《第十三章回归分析》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、第十三章回归分析本节我们主要线性回归分析。13.1一元线性回归分析在实际问题中我们常常要寻找存在于两个（或多个）变量之间的关系，它们之间有一定的关系，然而这种关系并不完全确定。例如，正常人的血压与年龄有一定关系，一般讲年龄大的人血压相对地高一些，但是他们之间就不能用一个确定的函数关系式表达出来。为了深入了解它们的关系，往往需要我们去寻找它们的数量表达式。先看一个例子。例1测得某种物质在不同温度x下吸附另一种物质的重量如下表所示：温度xi(C0)1.51.82.43.03.53.94.44.85.0吸附量(mg)4.85.77.08.310.912.

2、413.113.615.3表1如果我们重复做这些试验，在同一个温度下，所测得吸附另一种物质的重量也不完全一致。把这9对数据画出散点图1，从图上我们发现随着温度的增加，吸附量也增加，且这些点近似在一条直线附近，但又不完全在一条直线上。引起这些点与直线偏离的原因有两个，其一是本身温度和吸附量存在的内在关系，其二是在温度下观察吸附量存在着一些不可控制的因素。吸附量温度图1这样我们可以把观测结果看成是由两部分叠加而成的，一部分是由84的线性函数引起的，记为，其中就是图1中显示的那条直线，还需要估计；另一部分是由随机因素引起的，记为。即（1）由于我们把看成是

3、随机误差，由中心极限定理知，假定服从是合理的，这也就意味着假定，其中，。在（1）中是一般变量，它可以精确测量或可以加以控制，是可观测其值的随机变量，是未知参数，是不可观测的随机变量，假定服从。综上所述，我们得到一般的数学模型。通过观测，获得了组独立的观测数据，则一元线性回归模型为，（2）也可以简单地记为相互独立，且。当由观测值获得未知参数的估计后，得到的方程称为关于的一元线性回归方程。对于一元线性回归模型，我们要解决如下三个问题：（1）根据观测值去估计未知参数，从而建立与的数量关系式（称为回归方程）。（2）对以上得到的数量关系式的可信度进行统计检验

4、。（3）对某个，在一定的可靠度下来预测在什么区间中。8413.1.1参数的最小二乘估计我们想找的回归方程是要使观测值从整体上比较靠近它。用数学的话来说就是要求观测值与其拟合值之间的偏差平方和达到最小。设给定个点，为一条直线，记(3)就是误差平方和，它反映全部的观测值与直线的偏离程度。因此，越小，观测值与直线拟合得越好。所谓的最小二乘法就是使达到最小的一种估计的方法。如果,满足那么称,分别是,的最小二乘估计。下面来求、的最小二乘估计。由于是的一个非负二元函数，故其极小值一定存在，根据微积分的理论知道只要求对的一阶偏导数为0，即，，整理后得84（4）通

5、常称（4）为正则方程组，解之得其中，。在具体计算时，常记（5）（6）（7）这样，,的最小二乘估计可以表示为。(8)因此，可得到回归方程为，(9)此回归方程在平面直角坐标系中必过与两点。例2由例1的数据算得，，，84回归方程为。下面不加证明地罗列最小二乘估计的一些性质：（1）、分别是、的无偏估计。（2）~,~。（3）是的无偏估计。13.1.2回归方程的显著性检验从求一元线性回归方程系数的最小二乘估计公式（8）式可知，不管与之间是否有线性关系，只要给出了对数据，总可由（8）式求出，从而写出回归方程，然而此方程不一定有意义。那么，什么是一个有意义的回归方

6、程呢？我们研究回归方程的目的是寻找与之间的统计规律性，即要找出随变化的规律。在一元线性回归中，反映了随线性变化的变化率，若，说明不随作线性变化，那么我们给出的一元线性回归方程就没有意义，若，那么回归方程才有意义。因而对回归方程作显著性检验就是要检验假设（10）是否为真。我们注意到引起随机变量观测值不同的原因不外有二个，一是由于不真，从而在的变化时引起的线性变化，除此之外还有其它一切因素（包括在的变化时引起非线性变化的部分）造成的随机误差所致。记统计量84，，，其中。即是回归方程在处的值。直观上看，反映了数据中因变量的波动；，其中是当误差平方和达到最

7、小时的值，从而反映了随机误差引起数据中因变量的波动；又由知道，（11）反映了由于回归系数的作用而引起数据中因变量的波动。称为总偏差平方和，称为残差平方和，称为回归平方和。平方和分解公式：证明：其中84所以，。从平方和分解公式看出，数据中因变量的波动可以分解为随机误差引起数据中因变量的波动和由于回归系数的作用而引起数据中因变量的波动。我们从残差平方和与回归平方和的意义可知，回归效果的好坏取决于与的大小。在一定的条件下，越大越小，即线性部分起主要作用，则回归效果越好。可以证明：在一元线性回归模型下，当为真时，则~，~，且分别与相互独立。从而。若取的值较

8、大时，表示相对较大，而相对较小，即与的线性关系起主导作用，可以认为与之间有线性关系；若取的值较小时，则相对较小，而相对较大