第十章 相关与简单线性回归分析

《第十章 相关与简单线性回归分析》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、第十章相关与简单线性回归分析第一节相关与回归的基本概念一、变量间的相互关系现象之间存在的依存关系包括两种：确定性的函数关系和不确定性的统计关系，即相关关系。二、相关关系的类型1、从相关关系涉及的变量数量来看：简单相关关系；多重相关或复相关。2、从变量相关关系变化的方向看：正相关；负相关。3、从变量相关的程度看：完全相关；不相关；不完全相关。二、相关分析与回归分析概述相关分析就是用一个指标（相关系数）来表明现象间相互依存关系的性质和密切程度；回归分析是在相关关系的基础上进一步说明变量间相关关系的具体形式，可以从

2、一个变量的变化去推测另一个变量的变化。相关分析与回归分析的区别：目的不同：相关分析是用一定的数量指标度量变量间相互联系的方向和程度；回归分析是要寻求变量间联系的具体数学形式，要根据自变量的固定值去估计和预测因变量的值。对变量的处理不同：相关分析不区分自变量和因变量，变量均视为随机变量；回归区分自变量和因变量，只有因变量是随机变量。注意：相关和回归分析都是就现象的宏观规律/平均水平而言的。第二节简单线性回归一、基本概念如果要研究两个数值型／定距变量之间的关系，以收入x与存款额y为例，对n个人进行独立观测得到散点

3、图，如果可以拟合一条穿过这一散点图的直线来描述收入如何影响存款，即简单线形回归。二、回归方程在散点图中，对于每一个确定的x值，y的值不是唯一的，而是符合一定概率分布的随机变量。如何判断两个变量之间存在相关关系？要看对应不同的x，y的概率分布是否相同/y的总体均值是否相等。在x=xi的条件下，yi的均值记作E(yi)，如果它是x的函数，E(yi)=f(xi)，即回归方程，就表示y和x之间存在相关关系，回归方程就是研究自变量不同取值时，因变量y的平均值的变化。当y的平均值和x呈现线性关系时，称作线性回归方程，只有

4、一个自变量就是一元线性回归方程。一元线性回归方程表达式：E(yi)=α+βxi，其中α称为常数，β称为回归系数。对于每一个真实的yi，其表达式为yi=α+βx+εi，yi是随机变量，εi是随机误差，由于εi的值不固定，从而使x和y呈现出不确定的关系。三、回归方程的建立与最小二乘法回归方程中描述的是总体关系，总体不知道的情况下，只能通过样本来估计总体，即通过样本的散点图来估计总体回归直线的系数α和β。如何根据样本散点图拟合出一条最佳的估计直线？使用最小二乘法。设从总体中抽取一个样本，观测值为(x1,y1),(x

5、2,y2),…(xn,yn)，穿过这n个观测点可以得到无数直线y=a+bx，最佳直线就是与各个点都比较接近的这条直线，即各点到该直线的铅直距离即偏差之和最小，但偏差有正有负会抵消，需要对所有偏差求平方和，使得∑(yi-ŷ)2最小，即最小二乘法原理。根据最小二乘法准则拟合的回归方程记作ŷ=a+bx。根据最小二乘法原理可推导出b=，a=为了便于计算，也可将上述公式分解为：b=由此通过最小二乘法所确定的a、b带入待估计的直线方程式得到ŷ=a+bx就是总体线性回归方程E(yi)=α+βxi的最佳估计方程。斜率b的意义

6、：x发生一个单位的变化时，y相应发生的变化量。第三节回归方程的假定和检验一、回归方程的基本假定对于总体线性回归方程E(yi)=α+βxi，需要作出一些基本假定：A、对于x的每一个取值xi，yi是随机变量/y的子总体，所有yi的方差相等。B、所有yi的均值都在一条直线上，其数学表达式为E(yi)=α+βxi，由于α和β对于所有子总体yi都是一样的，所以α和β是总体参数。C、随机变量yi是统计独立的。这三个假定可以写为：随机变量yi在统计上是相互独立的，它们的均值=E(yi)=α+βxi，方差=σ2。D、出于假设

7、检验需要，还要求y的每一个子总体yi都满足正态分布。综合回归分析中估计和检验的两方面需要，对总体数据结构有如下假定：y1=α+βx1+ε1，y2=α+βx2+ε2，……yn=α+βxn+εn，其中，ε1，ε2….εn是随机变量，相互独立，且都服从相同正态分布N(0,σ2)二、回归方程的检验在拟合回归直线前，需要对总体变量之间是否存在线形关系进行检验，否则拟合回归直线是没有意义的。1、作出假设H0：β=0；H1：β≠0类似于方差分析，β=0意味着各总体均值相等，说明x和y之间没有关系，β≠0意味各总体均值不等，

8、说明x和y之间有线性关系。所以可理解为检验各总体均值是否相等，类似方差分析的检验。2、计算检验统计量（1）计算偏差平方和总偏差平方和TSS=，反映了观测值yi围绕均值总的离散程度。剩余平方和RSS=ŷi)2，反映了观测值yi偏离回归直线ŷi的离散程度，是通过回归直线进行估计之后，仍然未能消除/未被解释的误差，也称残差平方和，说明了除x对y的线性影响外，还存在其他未被考虑的因素。由于(yi-)可以分解