最小二乘法及其应用.doc

《最小二乘法及其应用.doc》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、最小二乘法及其应用摘要最小二乘法是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。关键字最小二乘法经验公式近似计算1最小二乘法的简介及其定义1.1关于最小二乘法的简介1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的

2、观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。  高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。  法国科学家勒让德于1806年独立发现“最小二乘法”，但因不为世人所知而默默无闻。  勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。  1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-莫卡夫定理。1.2最小二乘法的定义在科学研究和实际工作中,常常会遇到这

3、样的问题:给定两个变量x, y的m组实验数据,如何从中找出这两个变量间的函数关系的近似解析表达式(也称为经验公式),使得能对x与y之间的除了实验数据外的对应情况作出某种判断.     -3-这样的问题一般可以分为两类:一类是对要对x与y之间所存在的对应规律一无所知,这时要从实验数据中找出切合实际的近似解析表达式是相当困难的,俗称这类问题为黑箱问题;另一类是依据对问题所作的分析,通过数学建模或者通过整理归纳实验数据,能够判定出x与y之间满足或大体上满足某种类型的函数关系式,其中是n个待定的参数,这些参数的值可以通过m组实验数据来确定(一般要求

4、),这类问题称为灰箱问题.解决灰箱问题的原则通常是使拟合函数在处的值与实验数值的偏差平方和最小,即取得最小值.这种在方差意义下对实验数据实现最佳拟合的方法称为"最小二乘法"。2最小二乘法原理在我们研究两个变量(x,y)之间的相互关系时，通常可以得到一系列成对的数据(x1,y1、x2,y2...xm,ym)；将这些数据描绘在x-y直角坐标系中(如图1),若发现这些点在一条直线附近，可以令这条直线方程如(式1-1)。Y计=a0+a1X(式1-1)其中：a0、a1是任意实数为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与

5、利用(式1-1)计算值(Y计=a0+a1X)的离差(Yi-Y计)的平方和〔∑(Yi-Y计)2〕最小为“优化判据”。令:φ=∑(Yi-Y计)2(式1-2)把(式1-1)代入(式1-2)中得:φ=∑(Yi-a0-a1Xi)2(式1-3)当∑(Yi-Y计)平方最小时，可用函数φ对a0、a1求偏导数，令这两个偏导数等于零。ma0+(∑Xi)a1=∑Yi(式1-6)(∑Xi)a0+(∑Xi2)a1=∑(Xi,Yi)(式1-7)得到的两个关于a0、a1为未知数的两个方程组，解这两个方程组得出：a0=(∑Yi)/m-a1(∑Xi)/m(式1-8)a1=[

6、∑XiYi-(∑Xi∑Yi)]/[∑Xi2-(∑Xi)2)](式1-9)这时把a0、a1代入(式1-1)中,此时的(式1-1)就是我们回归的元线性方程即：数学模型。在回归过程中，回归的关联式是不可能全部通过每个回归数据点(x1,y1、x2,y2...xm,ym),为了判断关联式的好坏,可借助相关系数-3-“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于1越好；“F”的绝对值越大越好；“S”越趋近于0越好。R=[∑XiYi-m(∑Xi/m)(∑Yi/m)]/SQR{[∑Xi2-m(∑Xi/m)2][∑Yi2-m(∑Yi/m)2

7、]}(式1-10)在(式1-1)中，m为样本容量，即实验次数；Xi、Yi分别任意一组实验X、Y的数值。微积分应用课题一最小二乘法从前面的学习中,我们知道最小二乘法可以用来处理一组数据,可以从一组测定的数据中寻求变量之间的依赖关系,这种函数关系称为经验公式.本课题将介绍最小二乘法的精确定义及如何寻求与之间近似成线性关系时的经验公式.假定实验测得变量之间的个数据则在平面上,可以得到个点,这种图形称为“散点图”,从图中可以粗略看出这些点大致散落在某直线近旁,我们认为与之间近似为一线性函数,。3应用背景在科学研究和实际工作中,人们常常会遇到这样的问

8、题:给定两个变量x, y的m组实验数据,如何从中找出这两个变量间的函数关系的近似解析表达式使得能对x与y之间的除了实验数据外的对应情况作出某种判断。这样的问题一般可以分为两类:一