最小二乘法原理及其简单应用.pdf

《最小二乘法原理及其简单应用.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2010年第23期SCIENCE&TECHNOLOGYINFORMATION○职校论坛○科技信息最小二乘法原理及其简单应用邹乐强（河南工程技术学校河南焦作454000）【摘要】最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识，并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用。然而，最小二乘法因其抽象、难懂常常被大家所忽视。本文就最小二乘法的引入，原理的证明，简单的应用进行归纳和总结，使读者对最小二乘法有更为清晰、系统、全面地认识。【关键词】最小二乘法；回归模型；参数估计；系统辨识最小二乘法

2、作为一种传统的参数估计方法，早已经被大家所了mmmm2(Σa)x1+1Σai1ai21x2+…+1Σai1ain1xn=Σai1bi解。然而大多同学对最小二乘法的认识都比较模糊，仅仅把最小二乘i1i=1i=1i=ji=1法理解为简单的线性参数估计。事实上，最小二乘法在参数估计、系统mmmm2辨识以及预测、预报等众多领域都有着广泛的应用。本文就最小二乘1Σai2ai11x1+1Σa1x2+…+1Σai2ain1xn=Σai2bi2.2i2i=1i=1i=1i=1法的引入、最小二乘法原理的简单证明、

3、最小二乘法在线性参数估计、mmmm欧氏空间、多项式拟合以及经济领域的模型参数估计等应用方面进行21Σainai11x1+1Σainai21x2+…+1Σa1xn=Σainbiin具体的阐释。本文的一些理论建立在学习过高等代数、数值分析及了i=1i=1i=1i=1的解[2]解简单的经济计量学的基础上。本文的理论简明易懂，仅对现实中常2见的问题用最小二乘法理论结合阐释。mn证明：设Y=Σ1bi-Σaikxk12.31问题的引入i=1k=1把Y整理为关于xj(1≦j≦n)的二次函数得例已知某种材料在生产过程中的

4、废品率y与某种化学成分xmm22有关。下列表中记载了某工厂生产中y与相应的x的几次数值：Y=1Σaij1xj+2Σ(aj(ai1x1+…+ai,j-1xj-1+ai,j+1xj+1+…+a1nxnbj))xji=1i=1my(%)1.000.90.90.810.60.560.35+Σ2(ai1x1+…+ai,j-1xj-1+ai,j+1xj+1+…+ainxn-bj)x(%)3.63.73.83.94.04.14.2i=1j=1,2,3,……,n必要性：设X=(x,x,T是方程组⑴的最小二乘解，由定义1我们想找出y对

5、x的一个近似公式。12……,xn)解把表中数值划出图来看，发现它的变化趋势近于一条直线。知⑴式中Y有最小值，且X是最小值点。由二次函数的性质得知二次m因此我们决定选取x的一次式ax+b来表达。当然最好能选到适当的2函数Σaij〉0（j=1,2,……,n），故aij不全部为零（与A列满秩的假设一a，b使下面的等式i=13.6a+b-1.00=0致），且X满足：3.7a+b-0.9=0m3.8a+b-0.9=0Σi=1[aij(ai1x1+…+ai,j-1xi,j-1+ai,j+1xi,j+1+…+ainxn-bn)]X

6、=(j=1,2,……,n)2.43.9a+b-0.81=0m4.0a+b-0.60=0Σaiji=14.1a+b-0.56=0化简得：4.2a+b-0.35=0mmmm2都成立。实际上是不可能的，任何a，b代入上面各式都会发生误1Σaijai11x1+1Σaijai21x2+…+1Σaijai,j-11xj-1+1Σaij1xj+i=1i=1i=1i=1差。于是想找a，b使上面各式的误差的平方和最小，即找到a，b使mmm(3.6a+b-1.00)2+(3.7a+b-0.9)2+(3.8a+b-0.9)2+(3.9a+

7、b-0.81)2+(4.0a+1Σaijai,j+11xj+1+…+1Σaijain1xn=Σaijbi(j=1,2,…n)b-0.60)2+(4.1a+b-0.56)2+(4.2a+b-0.35)2i=1i=1i=1这就是方程组⑵。不难看出方程组⑵的系数矩阵为ATAT表示最小。这里讨论的是误差的平方即二乘方，故称为最小二乘法。现（AAT在转向为一般的最小二乘法问题：的转置矩阵），由A列满秩知

8、AA

9、≠0，故⑵有唯一解。必要性得证。实系数线性方程组充分性：设X是方程组（2）2.2的解，由xj(j=1,2,...,n)

10、满足方程组ax+ax+…+ax-b=02.2，也就是满足⑷式，再由于A列满秩，aij(i=1，2，...，m)不全为零，故⑶1111221nn1ma21x1+a22x2+…+a2nxn-b2=021.1中二次项系数Σaij＞0，因此，⑷中式Y有最小值且最小值点为X=(x1，…………i=1am1x1+am2x2+…+amnx