第九章 回归分析与方差分析

《第九章 回归分析与方差分析》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、概率论与数理统计第九章回归分析与方差分析第九章回归分析与方差分析§9.1回归分析的一般概念在现实生产生活中，我们常常需要研究变量之间的关系，它们通常可以分成两类，一类是我们在微积分中已详细研究过的函数关系，这是一种确定性关系；另一类是我们本章要研究的相关关系，这是一种非确定性关系。例如，人的体重Y与身高X之间存在密切的关系，但是我们无法从一个变量确切知道另一个变量，它们之间是一种非确定性关系。又如，任一家庭的年支出Y与该家庭的年收入X之间存在密切的关系，但是我们无法从一个变量确切知道另一个变量，它们之间是一种非确定性

2、关系。再如广告费X与销售量Y之间存在密切的关系，但是我们也无法从一个变量确切知道另一个变量，它们之间也是一种非确定性关系。这一种非确定性关系，我们称之为相关关系。在研究相关变量之间的关系时，我们常常可以把变量分成两类，一类变量带有“原因”的性质，称为自变量或回归变量；另一类变量带有“结果”的性质，称为因变量或响应变量。研究这种带有因果关系变量之间的相关关系的一个有力工具是回归分析，它是数理统计的一个重要分支，在生产实践和科学研究中有广泛的应用。用Y表示因变量，它为一个随机变量，在给定的X的值X=x的条件下，Y有其概率

3、分布，若其条件数学期望E(YX=x)存在，则该条件数学期望是x的函数，记之为µ(x)=E(YX=x)，称µ(x)为Y对X的回归函数，而称y=µ(x)为Y对X的回归方程。由于Y是一个随机变量，给定的X的值X=x并不能完全确定Y的值。记e=Y−µ(x)，则e是一个随机变量，称e为误差变量，一般规定其数学期望E(e)=0。这样我们得到Y和X之间的关系式。Y=µ(x)+e，E(e)=0（1.1）这就是最一般的回归分析模型。回归分析的主要任务是通过(X,Y)的一组样本观察值(x,y),(x,y),?(x,y)作1122nn出回

4、归函数µ(x)的估计µˆ(x)和回归方程y=µ(x)的估计yˆ=µˆ(x)，讨论其性质，利用它进行预测与控制。具有相关关系的变量，一般都是随机变量，在某些问题中，如身高X与体重Y，可以把其中的任何一个看作“因变量”，另一个看作“自变量”。但在某些问题中，有一个变量是不可控制的，另一变量是可控制的或可被精确观测的。如广告费X是可被控制的，但是销售量Y却是不可控制的。这时我们可以随意指定n个值给X，因此我们可以不把变量X看成随机变量，而把它作一个普通变量。本章只研究这种情况。对µ(x)的形式我们可一作出某种假设，如：线性

5、回归µ(x)=a+bx,二次回归2µ(x)=a+bx+cx.图9-1图9-2第1页共25页1概率论与数理统计第九章回归分析与方差分析假设可通过画(x,y，()x,y)，?，(x,y)的散点图作出。其具体作法是，以1122nn(x,y)i=,2,1?,n，为坐标在平面上描绘出n个点，观察其趋势，从而可以对µ(x)的形式ii作出初步的推测。§9.2一元线性回归一、数学模型2本节研究一元线性回归模型：Y=a+bx+ε，ε~N,0(σ)（2.1）其中x为变通变量，Y为可观察的随机变量，ε为意味着变量，a,b为未知的待估参数，

6、称2为回归系数，σ为ε的方差，也是未知参数。设(x,y，()x,y)，?，(x,y)为来自(x,y)的n个样本观察值，则有1122nny=a+bx+ε，i=,2,1?,n（2.2）iiiε,ε,?,ε相互独立且与ε有相同分布。12n我们称（2）为一元线性回归的数据模型。对于一元线性回归模型，其回归函数为µ(x)=a+bx，对µ(x)的估计化为对a,b的估计问题。下面我们讨论a,b的最小二乘估计。2二、a,b和σ的估计1.a,b的最小二乘估计从样本(x,y，()x,y)，?，(x,y)作出了a,b的估计aˆ,bˆ后，我

7、们立刻可以得到回归1122nn函数的估计µˆ(x)=aˆ+bˆx，和回归方程的估计yˆ=aˆ+bˆx（2.3）我们很自然的一个要求是希望由（2.3）式计算出的y的估计yˆ与真实值y的偏差y−yˆ达iiiii到最小，但两点决定一条直线，我们选择的出aˆ,bˆ不可能同时满足使得对每组(x,y)都有iiy−yˆ达到最小，我们转而要求各点的偏差平方达到最小。为此我们作函数iin2Q(a,b)=∑(yi−a−bxi)（2.4）i=1所谓a,b的最小二乘估计，就是选择aˆ,bˆ，使得Q(aˆ,bˆ)=minQ(a,b)（2.5）

8、将Q=Q(a,b)分别对a,b求偏导数：∂Qn=−2∑(yi−a−bxi)∂ai=1∂Qn=−2∑(yi−a−bxi)xi∂bi=1第2页共25页2概率论与数理统计第九章回归分析与方差分析∂Q∂Q分别令=0，=0得方程组：∂a∂bnnna+∑xib=∑yii=1i=1（2.6）nnn2∑xia+∑xib=∑