线性回归理论

《线性回归理论》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第七章　线性回归分析管理中经常要研究变量与变量之间的关系，并据以做出决策。前面介绍的检验可以确定两个变量之间是否存在着某种统计关系，但是如果检验说明两个变量之间存在着某种关系，我们还是不能说明它们之间究竟存在什么样的关系。　　本章介绍的回归分析能够确定两个变量之间的具体关系和这种关系的强度。回归分析以对一种变量同其他变量相互关系的过去的观察值为基础，并在某种精确度下，预测未知变量的值。　　社会经济现象中的许多变量之间存在着因果关系。这些变量之间的关系一般可以分为两类：一类是变量之间存在着完全确定的关系，即一个变量能被一个或若干个其他变量按某种规律

2、唯一地确定，例如，在价格P确定的条件下，销售收入Y与所销售的产品数量之间的关系就是一种确定性的关系：Y＝P·X。另一类是变量之间存在着某种程度的不确定关系。例如，粮食产量与施肥量之间的关系就属于这种关系。一般地说，施肥多产量就高，但是，即使是在相邻的地块，采用同样的种子，施相同的肥料，粮食产量仍会有所差异。统计上我们把这种不确定关系称为相关关系。　　确定性关系和相关关系之间往往没有严格的界限。由于测量误差等原因，确定性关系在实际中往往通过相关关系表现出来；另一方面，通过对事物内部发展变化规律的更深刻的认识，相关关系又可能转化为确定性关系。　　两个

3、相关的变量之间的相关关系尽管是不确定的，但是我们可以通过对现象的不断观察，探索出它们之间的统计规律性。对这类统计规律性的研究就称为回归分析。回归分析研究的主要内容有：确定变量之间的相关关系和相关程度，建立回归模型，检验变量之间的相关程度，应用回归模型进行估计和预测等。第一节　一元线性回归分析　　一、问题的由来和一元线性回归模型　　例7-1。某地区的人均月收入与同期某种耐用消费品的销售额之间的统计资料如表7-1所示。现要求确定两者之间是否存在相关关系。表7-1年份1987198819891990199119921993199419951996人均收

4、入1.61.82.33.03.43.84.54.85.25.4销售额(百万元)4.75.97.08.210.5121313.51415如果作一直角坐标系，以人均收入为横轴，销售额为纵轴，把表7-1中的数据画在这个坐标系上，我们可以看出两者的变化有近似于直线的关系，因此，可以用一元线性回归方程，以人均收入为自变量，以销售额为因变量来描述它们之间的关系。即：=++其中：是因变量Y的第i个观察值，是自变量X的第i个观察值与是回归系数，84　　　n是样本容量，　　　为对应于Y的第i个观察值的随机误差，这是一个随机变量。　　在上述线性模型中，自变量X是个非

5、随机变量，对于X的第i个观察值，Y的观察值是由两个部分所组成的：和，前者是一个常数，后者是一个随机变量，所以也是一个随机变量。对于上述回归模型中的随机误差要求满足如下的假设条件：　　1、应当是服从正态分布的随机变量，即满足“正态性”的假设。　　2、的均值为零，即E()＝0，我们称满足“无偏性”的假设。　　3、的方差等于=，这就是说，所有的分布的方差都相同，即满足“共方差性”的假设。　　4、各个间相互独立，即对于任何两个随机误差和其协方差等于零，即，Cov(,)=0,)这称之为满足“独立性”的假设。　　综上所述，随机误差必须服从独立的相同分布。　　

6、基于上述假定，随机变量的数学期望和方差分别是：E()=+=　由此：　～N(+,)这就意味着，当X=时，是一个服从正态分布的随机变量的某一个取值。如果不考虑式中的误差项，我们就得到简单的式子：=+这一式子称为Y对X的回归方程。依据这一方程在直角坐标系中所作的直线就称为回归直线。二、模型参数的估计和估计平均误差1、回归参数的估计　　回归模型中的参数与在一般情况下都是未知数，必须根据样本数据(，)来估计。确定参数与值的原则是要使得样本的回归直线同观察值的拟合状态最好，即要使得偏差最小。为此，可以采用“最小二乘法”的办法来解决。对应于每一个，根据回归直线

7、方程(7-1)可以求出一个，它就是的一个估计值。估计值和观察值之间的偏差。有n个观察值就有相应的n个偏差。要使模型的拟合状态最好，就是说要使n个偏差的总和最小。但为了计算方便起见，我们以误差的平方和最小为标准来确定回归模型。这就要求是个极小值。　　根据微积分中的极值定理，要使上式取极值，其对与所求的偏导数应为0，即84经整理后可得：解上式，可得：　　记　　。于是，得到参数与的简单表达形式如下：求出参数与以后，就可以得到回归模型　　由此，只要给定了一个值，就可以根据回归模型求得一个来作为实际值的预测值。　　2、估计平均误差的计算对于给定的，根据回归

8、模型就可以求出的预测值。但是用来预测的精度如何，产生的误差有多大是统计上所关心的。统计上用估计平均误差这个指标来度量回归方程的可靠性，对