最小二乘法回归曲线

《最小二乘法回归曲线》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、在现实中经常遇到这样的问题，一个函数并不是以某个数学表达式的形式给出，而是以一些自变量与因变量的对应表给出，老师讲课的时候举的个例子是犯罪人的身高和留下的脚印长，可以测出一些人的数据然后得到一张表，它反应的是一个函数，回归的意思就是将它还原成数学表达式，这个式子也称为经验表达式，之所以叫经验就是说它不完全是实际中的那样准确，是有一定偏差的，只是偏差很小罢了。最小二乘法设经验方程是y=F(x)，方程中含有一些待定系数an，给出真实值{(xi,yi)

2、i=1,2,...n},将这些x,y值代入方程然后作差，可以描述误差：y

3、i-F(xi)，为了考虑整体的误差，可以取平方和，之所以要平方是考虑到误差可正可负直接相加可以相互抵消，所以记误差为：e=∑(yi-F(xi))^2它是一个多元函数，有an共n个未知量，现在要求的是最小值。所以必然满足对各变量的偏导等于0，于是得到n个方程：de/da1=0de/da2=0...de/dan=0n个方程确定n个未知量为常量是理论上可以解出来的。用这种误差分析的方法进行回归方程的方法就是最小二乘法。线性回归如果经验方程是线性的，形如y=ax+b，就是线性回归。按上面的分析，误差函数为：e=∑(yi-axi

4、-b)^2各偏导为：de/da=2∑(yi-axi-b)xi=0de/db=-2∑(yi-axi-b)=0于是得到关于a,b的线性方程组：(∑xi^2)a+(∑xi)b=∑yixi(∑xi)a+nb=∑yi设A=∑xi^2,B=∑xi,C=∑yixi,D=∑yi，则方程化为：Aa+Bb=CBa+nb=D解出a,b得：a=(Cn-BD)/(An-BB)b=(AD-CB)/(An-BB)C++程序：#include#includevoidmain(){   doublex,y,A=0.0,B=0.0,C=0.0,D=0.0

5、,delta;   intn;   cin>>n;   for(inti=0;i>x>>y;      A+=x*x;      B+=x;      C+=x*y;      D+=y;   }   delta=A*n-B*B;   if(fabs(delta)<1e-10)   {      cerr<<"Error!Dividebyzero"<

6、          <<"b="<<((A*D-C*D)/delta)<

7、得到一系列成对的数据(x1,y1、x2,y2...xm,ym)；将这些数据描绘在x-y直角坐标系中(如图1),若发现这些点在一条直线附近，可以令这条直线方程如(式1-1)。　　Y计=a0+a1X(式1-1)　　其中：a0、a1是任意实数　　为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用(式1-1)计算值(Y计=a0+a1X)的离差(Yi-Y计)的平方和〔∑(Yi-Y计)2〕最小为“优化判据”。　　令:φ=∑(Yi-Y计)2(式1-2)　　把(式1-1)代入(式1-2)中得:　　φ=∑(Y

8、i-a0-a1Xi)2(式1-3)　　当∑(Yi-Y计)平方最小时，可用函数φ对a0、a1求偏导数，令这两个偏导数等于零。　　(式1-4)　　(式1-5)　　亦即：　　ma0+(∑Xi)a1=∑Yi(式1-6)　　(∑Xi)a0+(∑Xi2)a1=∑(Xi,Yi)(式1-7)　　得到的两个关于a0、a1为未知数的两个方程组，解这两个方程组得出：　　a0=(∑Yi)/m-a1(∑Xi)/m(式1-8)　　a1=[∑XiYi-(∑Xi∑Yi)/m]/[∑Xi2-(∑Xi)2/m)](式1-9)　　这时把a0、a1代入(式1

9、-1)中,此时的(式1-1)就是我们回归的元线性方程即：数学模型。　　在回归过程中，回归的关联式是不可能全部通过每个回归数据点(x1,y1、x2,y2...xm,ym),为了判断关联式的好坏,可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于1越好；“F”的绝对值越大越好；“S”越趋近于0越好。　　R=