华中科技大学 计算方法课件第2章 最小二乘法

《华中科技大学 计算方法课件第2章 最小二乘法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2.7曲线拟合的最小二乘法2.7.1最小二乘法及其计算在科学实验和生产实践中，常常需要通过一组实验数据(xi,yi)(i=0,1,2,n)来估计函数y=f(x)。插值法虽然在一定程度上解决了由函数表求取函数的近似表达式的问题，但用该方法来解决上面提出的问题，有明显缺陷。1首先，实验数据通常带有测试误差。如要求近似曲线y=φ(x)严格地通过所给的每个数据点(xi,yi)，就会使曲线保持原有的测试误差。当个别数据的误差较大时，插值效果显然是不理想的。其次，由实验提供的数据往往较多（即m较大），用插值法得到的近似表达式，明显地缺乏实用价值。2因此，怎样从给定的一组数据出发，在某个函数类φ中寻求

2、一个“最好”的函数φ(x)来拟合这组数据，是一个值得讨论的问题。随着拟合效果“好”、“坏”标准的不同，也就是误差评价标准的不同，解决此类问题的方法也不同。下面介绍一种最常用的曲线拟合方法，即最小二乘法。3如前所述，在一般情况下，我们不能要求近似曲线y=f(x)严格地通过所有数据点(xi,yi)，亦即不能要求所有拟合曲线函数在x处的偏差（亦称残差）iδi=ϕ(xi)−yi(i=1,2,,m)都严格地趋于零。但为了使近似曲线尽量反映所给数据点的变化趋势，要求∣δ∣都较小还是需要的。达到这一目标i的途径很多，常见的有：(1)选取φ(x)，使偏差绝对值之和最小，即mm∑δi=∑ϕ(xi)−yii

3、=1i=14(2)选取φ(x)，使偏差最大绝对值最小，即maxδ=maxϕ(x)−yiii1≤i≤m1≤i≤m(3)选取φ(x)，使偏差平方和最小，即mm22∑δi=∑[ϕ(xi)−yi]i=1i=1为了方便计算、分析与应用，我们较多地根据“偏差平方和最小”的原则（称为最小二乘原则）来选取拟合曲线y=φ(x)。按最小二乘原则选择拟合曲线的方法，称为最小二乘法。5问题：为利用yi=f(xi),i=0,1,,m,求出一个函数*y=P(x)与所给数据{(xi,yi),i=0,1,,m}拟合。记误差为*δ=P(x)−y,i=0,1,,miiiT则δ=(δ0,δ1,,δm)各分量分别为m个数

4、据点上的误差。6要求在函数类Φ={ϕ0(x),ϕ1(x),,ϕn(x)}中找一函数P(x)=aϕ(x)+aϕ(x)++aϕ(x)(n

5、的背景，确定P(x)的形式,然后通过实际计算选出较好的结果。8P(x)的一般表达式为（7.1）表示的线性形式。ϕ(x)若k是k次多项式，P(x)就是n次多项式.为了使问题的提法更有一般性，通常在最小二乘法中考虑加权平方和m22δ2=∑ω(xi)[S(xi)−yi].（7.3）i=0这里ω(x)≥0是权函数，它表示在不同点(xi,f(xi))处的数据比重不同。9用最小二乘法求拟合曲线的问题，就是在形如(7.1)的*P(x)中求一函数y=P(x)，使（7.2）取得最小。这样，最小二乘问题就转化为求多元函数F(a,a,,a)01nmn2=∑[∑ajϕj(xi)−f(xi)]（7.4）i=0j=

6、0***的极小点(a0,a1,,an)问题。由求多元函数极值的必要条件，有mn∂F=2∑[∑ajϕj(xi)−f(xi)]ϕk(xi)=0∂aki=0j=0(k=0,1,,n)10若记m(ϕj,ϕk)=∑ϕj(xi)ϕk(xi)（7.5）i=0m(f,ϕk)=∑f(xi)ϕk(xi)≡dki=0(k=0,1,,n)上式可改写为n∑(ϕk,ϕj)aj=dk(k=0,1,,n)（7.6）j=0该方程称为法方程，可写成矩阵形式11Ga=dTT其中a=(a0,a1,,an),d=(d0,d1,,dn),(ϕ0,ϕ0)(ϕ0,ϕ1)(ϕ0,ϕn)(ϕ,ϕ)(ϕ,ϕ)(ϕ,ϕ)

7、G=10111n（7.7）(ϕ,ϕ)(ϕ,ϕ)(ϕ,ϕ)n0n1nn要使法方程(7.6)有唯一解，就要求矩阵G非奇异。由于ϕ0(x),ϕ1(x),,ϕn(x)线性无关，矩阵G行列式不为零，故方程组有唯一解。12定理1对任意给定的一组实验数据(xi,yi)(i=1,2,,m)（其中xi互异），在函数类Φ={ϕ0(x),ϕ1(x),...ϕn(x)}(n