第5章 回归分析

《第5章 回归分析》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据处理方法及应用回归分析¾回归分析的基本概念¾一元线性回归¾一元非线性回归¾多元线性回归¾线性递推回归参考资料：费业泰主编.误差理论与数据处理（第6版），机械工业出版社，2010王黎明陈颖杨楠编著.应用回归分析，复旦大学出版社，2008讲课：钟伟民，研究生楼912，64251250-811，wmzhong@ecust.edu.cn1回归分析主要阐述回归分析的基本概念，并重点介绍一元线性回归和一元非线性回归的基本方法，给出回归方程的方差分析和显著性检验。从而使掌握回归分析方法的基本原理，同时介绍下多元线性回归和线性递推回归的基本方法。2回归分析的基本概念函数与相关函数关

2、系：即确定性关系，可以用明确的函数关系式精确地表示出来。数学分析和物理学中的大多数公式属于这种类型。s=vt相关关系：这些变量之间既存在着密切的关系，又不能由一个（或几个）自变量的数值精确地求出另一个因变量的数值，而是要通过试验和调查研究，才能确定它们之间的关系。比如零件加工中知道了零件的直径可大致估计其加工误差，但又不能精确地预知加工误差。函数和相关关系并无严格的界限4回归分析的主要内容ò由数据确定变量之间的数学表达式－回归方程或经验公式。ò对回归方程的可信度进行统计检验。ò因素分析，确定共同影响一个变量的许多因素中的重要和次要因素。5回归分析与最小二乘的关系回归分析

3、是基于最小二乘原理，回归系数的求解，特别是一元线性回归方程的求解与最小二乘法有一定的相似性。最小二乘法是对研究事物内部规律的数学表达式——经验公式，得到该公式待求参数估计量后，只对其精度进行评价，而不研究所拟合的经验公式整体质量。回归分析还需进一步对所得到的回归方程——经验公式的整体精度进行分析和检验，以确定回归方程的质量水平，并定量地评价回归方程与实际研究的事物规律的符合程度，即进行回归方程的方差分析与显著性检验等。最小二乘法是回归分析的主要理论基础，回归分析是最小二乘理论的实际应用与扩展。6一元线性回归一元线性回归一元线性回归：确定两个变量之间的线性关系，即直线拟合

4、问题。例：确定某段导线的电阻与温度之间的关系：ox/C19.125.030.136.040.046.550.0y/Ω76.3077.8079.7580.8082.3583.9085.10散点图：8482807876203040508一元线性回归从散点图可以看出：电阻与温度大致成线性关系。设测量数据有如下结构形式：y=β+βx+ε,t=1,2,L,Nt0tt式中，ε1,ε2,L,εN分别表示其它随机因素对电阻值y1,y2,L,yN影响的总和。思路：要求电阻与yx的关系，即根据测量数据要求出β0β的估计值。根据测量数据，可以得到7个测量方程，结合前面所学，未知数有两个，而方

5、程个数大于未知数的个数，适合于用最小二乘法求解。9一元线性回归采用最小二乘法估计参数，设回归方程为yˆ=b+bx0回归系数对每一个点有yˆt=b0+bxt则残差方程为vi=yt−yˆt=yt−b0−bxt,t=1,2,L,N根据最小二乘原理可求得回归系数b0和b。令⎛y1⎞⎛1x1⎞⎛v1⎞⎜⎟⎜⎟⎜⎟⎜y2⎟⎜1x2⎟⎛b0⎞⎜v2⎟Y=⎜⎟X=⎜⎟b=⎜⎜⎟⎟V=⎜⎟⎜M⎟⎜MM⎟⎝b⎠⎜M⎟⎜y⎟⎜1x⎟⎜v⎟⎝N⎠⎝N⎠⎝N⎠10一元线性回归则误差方程的矩阵形式为Y−Xb=V假定测得值yt的精度相等，则有b=(XTX)−1XTY可计算得NNNN∑xtyt−(∑x

6、t)(∑yt)lb=t=1t=1t=1=xyNN22lxxN∑xt−(∑xt)t=1t=1NNNN2(∑xt)(∑yt)−(∑xt)(∑xtyt)t=1t=1t=1t=1b==y−bx0NN22N∑∑xt−(xt)t==11t11一元线性回归式中N1x=∑xtNt=1N1y=∑ytNt=1NN1N222lxx=∑(xt−x)=∑xt−(∑xt)t=1t=1Nt=1NNNN1lxy=∑(xt−x)(yt−y)=∑xtyt−(∑xt)(∑yt)t=1t=1Nt=1t=1NNN2212lyy=∑∑(yt−y)=yt−(∑yt)t==11tNt=112一元线性回归求解回归方程，

7、通常是通过列表进行13回归方程的稳定性回归方程的稳定性是指回归值yˆ的波动大小，波动愈小，回归方程的稳定性愈好。根据随机误差传递公式及回归方程有2222σyˆ=σb0+xσb+2xσb0b协方差N2∑xt22t=121x2σb=σ=(+)σ残余标准差0NNNl22xxN∑xt−(∑xt)t=1t=122N2σ2σb=NNσ=l21(x−x)2Nx2−(x)2xxσyˆ=(+)σ∑t∑tNlxxt=1t=1N−∑xt回归值的波动大小不仅与残余标准t=1x2σbb==−σ0NNl差有关，还取决于试验次数和自变22xxN∑xt−(∑xt)t=1