第5章 回归分析[2].ppt

《第5章 回归分析[2].ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第5章回归分析回归分析是数理统计学科的一个重要分支。它是处理变量之间相关关系的一种数学方法。回归分析主要分为线性回归分析和非线性回归分析。本节主要内容线性回归模型的基本概念最小二乘法最小二乘估计量的性质回归方程的显著性检验5.1问题的提出自然界和人类社会中的数量关系，可以分为两种类型：（函数关系）（统计关系）非确定性关系确定性关系回归分析的基本概念1.确定性关系即对两个变量X，Y来说，当X值确定后，Y值按照一定的规律唯一确定，即形成一种精确的关系。例如:微积分学中所研究的一般变量之间的函数关系就属于此种类型。2.非确定性关系即当X值确定后，Y值不是

2、唯一确定的，但大量统计资料表明，这些变量之间还是存在着某种客观的联系。例如：图9.1在直角坐标平面上，标出了10个观测点的坐标位置，他们表示以家庭为单位，某种商品年需求量与该商品价格之间的10对调查数据。回归分析(RegressionAnalysis)就是应用统计方法，对大量的观测数据进行整理、分析和研究，从而得出反映事物内部规律性的一些结论。5.2简单线性回归模型5.2.1线性模型设是因变量，是自变量，且与r个自变量相关。如果则称符合线性模型。如果模型关于参数是非线性的，有些情形可以通过适当的变换化为线性模型。如而有些模型不能通过变换化为线性模型

3、。如5.2.2简单线性回归模型一般地，简单线性回归模型表示为且和是待估计的未知参数，称为回归系数。对于n组观察值（，）（i=1，2，…，n）即i=1，2，…，n为了对线性回归模型进行统计分析和条件推断，所以对模型的基本假设为（1）（2）（3）相互独立，由此得i≠j（4）服从正态分布5.2.3最小二乘法最小二乘法Y与X之间为线性关系选出一条最能反映Y与X之间关系规律的直线一元线性回归方程Yi=β0+β1Xi+εiβ0和β1均未知根据样本数据对β0和β1进行估计β0和β1的估计值为和建立一元线性回归方程一般而言，所求的和应能使每个样本观测点(Xi,Yi

4、)与回归直线之间的偏差尽可能小，即使观察值与拟合值的误差平方和Q达到最小。回归方程原理图一元线性回归方程令Q达到最小值β0和β1称为最小二乘估计量微积分中极值的必要条件令偏导数为0解方程正规方程组称和分别是和的最小二乘估计量。简记为LSE称通过最小二乘法得到的直线方程为简单线性回归方程，且是的最小二乘估计量。当时，则由此可见，回归方程所对应的直线通过数据重心（，）建立一元线性回归方程的具体步骤：例5-3总结(3)计算和，写出一元线性回归方程。2.浅谈直线回归方程的精度问题2.1总平方和分解总平方和分解2.1总平方和分解总平方和分解图2.1总平方和分

5、解总离差平方和它表示没有X的影响，单纯考察数据中y的变动情况。2.1总平方和分解回归平方和表示各的变动程度，该变动是由于回归直线中各xi的变动所引起的，并且通过x对y的线性影响表现出来。2.1总平方和分解误差平方和表示各yi围绕所拟合的回归直线的变动程度2.1总平方和分解2.2自由度的分解自由度ƒT为n-1β0和β1用了两个正规方程自由度ƒE为n-2自由度ƒR为12.2自由度的分解自由度的分解可以表示为n-1=1+（n-2）ƒT=ƒR+ƒE5.2.4最小二乘估计量的统计性质和是随机变量的线性组合证明：因为令则其中系数尽取决于，所以是常数。由此可见，

6、是的线性组合。又由于，令则，所以，是的线性组合。的性质注2.和分别是和的无偏估计证明即最小二乘估计量是的无偏估计量。同理即最小二乘估计量是的无偏估计量那么以上结论知这表明是的无偏估计量。3.和的方差（最小方差性）4.auss-Markov定理设是相互独立的随机变量，其中是的最小二乘估计量，则的所有的线性无偏估计量中，方差最小。4.Gauss-Markov定理Gauss-Markov定理证明思路证毕5.2.5的无偏估计量正规方程组所以由此可见，是的无偏估计量。通常称为剩余方差。5.2.6估计量的分布线性回归模型的4项基本条件：由于和都是的线性组合，所

7、以和都服从正态分布相互独立如果基本假设1-4成立，则服从正态分布，服从正态分布。定理5.1定理5.2如果基本假设1-4成立，则服从自由度为n-2的分布，且与独立。其中剩余方差5.3.1F检验（方差分析）法在一元线性回归中，为了检验Y对于X线性关系的统计显著性，对β1进行F检验1）提出假设：H0：β1=0，H1：β1≠0。2）构造并计算统计量：3）查F分布临界值表，得临界值4）比较：接受H0，认为Y与X不存在一元线性关系。5.3简单线性回归模型的显著性检验1.F检验若F>拒绝H0，认为Y与X存在一元线性关系。方差分析表2.t检验1）提出假设H0:H1

8、:2）构造并计算统计量步骤：3）查t分布临界值表得临界值t检验4）比较若，接受H0若，拒绝H05.3.2相关系数检验法步骤