线性回归推导及实例.doc

《线性回归推导及实例.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、数据点基本落在一条直线附近。这告诉我们，变量X与Y的关系大致可看作是线性关系，即它们之间的相互关系可以用线性关系来描述。但是由于并非所有的数据点完全落在一条直线上，因此X与Y的关系并没有确切到可以唯一地由一个X值确定一个Y值的程度。其它因素，诸如其它微量元素的含量以及测试误差等都会影响Y的测试结果。如果我们要研究X与Y的关系，可以作线性拟合           （2-1-1） 我们称（2-1-1）式为回归方程，a与b是待定常数，称为回归系数。从理论上讲，（2-1-1）式有无穷多组解，回归分析的任

2、务是求出其最佳的线性拟合。 二、最小二乘法原理 如果把用回归方程 计算得到的 i值(i=1,2,…n)称为回归值，那么实际测量值yi与回归值 i之间存在着偏差，我们把这种偏差称为残差，记为ei(i=1,2,3,…,n)。这样，我们就可以用残差平方和来度量测量值与回归直线的接近或偏差程度。残差平方和定义为:     (2-1-2)所谓最小二乘法，就是选择a和b使Q(a,b)最小，即用最小二乘法得到的回归直线 是在所有直线中与测量值残差平方和Q最小的一条。由(2-1-2)式可知Q是关于a,b的二次函

3、数，所以它的最小值总是存在的。下面讨论的a和b的求法。三、正规方程组根据微分中求极值的方法可知，Q(a,b)取得最小值应满足                               (2-1-3)由(2-1-2)式，并考虑上述条件，则            (2-1-4)(2-1-4)式称为正规方程组。解这一方程组可得                       (2-1-5)   其中                       (2-1-6)   (2-1-7)    式中，Lxy称为x

4、y的协方差之和，Lxx称为x的平方差之和。如果改写(2-1-1)式，可得                      (2-1-8)    或                        (2-1-9) 由此可见，回归直线是通过点 的，即通过由所有实验测量值的平均值组成的点。从力学观点看， 即是N个散点 的重心位置。 现在我们来建立关于例1的回归关系式。将表2-1-1的结果代入(2-1-5)式至(2-1-7)式，得出a=1231.65b=-2236.63 因此，在例1中灰铸铁初生奥氏体析出温度(

5、y)与氮含量(x)的回归关系式为y=1231.65-2236.63x  四、一元线性回归的统计学原理 如果X和Y都是相关的随机变量，在确定x的条件下，对应的y值并不确定，而是形成一个分布。当X取确定的值时，Y的数学期望值也就确定了，因此Y的数学期望是x的函数，即E(Y

6、X=x)=f(x)                  (2-1-10) 这里方程f(x)称为Y对X的回归方程。如果回归方程是线性的，则E(Y

7、X=x)=α+βx                (2-1-11) 或Y=α+βx+ε 

8、                   (2-1-12) 其中    ε―随机误差 从样本中我们只能得到关于特征数的估计，并不能精确地求出特征数。因此只能用f(x)的估计式   来取代（2-1-11）式，用参数a和b分别作为α和β的估计量。那么，这两个估计量是否能够满足要求呢？  1.无偏性 把(x,y)的n组观测值作为一个样本，由样本只能得到总体参数α和β的估计值。可以证明，当满足下列条件： (1)(xi,yi)是n个相互独立的观测值 (2)εi是服从 分布的随机变量 则由最小二乘法得到的a与b

9、分别是总体参数α和β的无偏估计，即E(a)=αE(b)=β   由此可推知E( )=E(y)   即y是回归值 在某点的数学期望值。 2.a和b的方差 可以证明，当n组观测值(xi,yi)相互独立，并且D(yi)=σ2,时，a和b的方差为                              (2-1-13)                  (2-1-14)以上两式表明，a和b的方差均与xi的变动有关，xi分布越宽，则a和b的方差越小。另外a的方差还与观测点的数量有关，数据越多，a的方差越

10、小。因此，为提高估计量的准确性，xi的分布应尽量宽，观测点数量应尽量多。建立多元线性回归方程，实际上是对多元线性模型（2-2-4）进行估计，寻求估计式（2-2-3）的过程。与一元线性回归分析相同，其基本思想是根据最小二乘原理，求解 使全部观测值 与回归值 的残差平方和达到最小值。由于残差平方和          （2-2-5）    是 的非负二次式，所以它的最小值一定存在。   根据极值原理，当Q取得极值时， 应满足   由（2-2-5）式，即满足                    （2-