最小二乘法原理及算例

《最小二乘法原理及算例》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、线性最小二线乘问题的存在与唯一线性模型的正规方程线性模型举例线性模型引深及推广线性最小二乘方法评注正交多项式问题的提出最佳平方逼近实例讲解某种合成纤维的强度与其拉伸倍数有直接关系，下表是实际测定的24个纤维样品的强度与相应拉伸倍数的记录。提示：将拉伸倍数作为x,强度作为y,在座标纸上标出各点，可以发现什么?数据表格从上图中可以看出强度与拉伸倍数大致成线形关系，可用一条直线来表示两者之间的关系。解：设y*=a+bxi，令δ=yi-y*i=yi-a-bxi，根据最小二乘原理，即使误差的平方和达到最小，也就是令nQ=∑δi2i=1为最小，

2、即求使(a,b)=有最小值的a和b的值。计算出它的正规方程得解得：a=0.15,b=0.859直线方程为：y*=0.15+0.859x一问题的提出插值法是使用插值多项式来逼近未知或复杂函数的，它要求插值函数与被插函数在插值节点上函数值相同，而在其他点上没有要求。在非插值节点上有时函数值会相差很大。若要求在被插函数的定义区间上，所选近似函数都能与被插函数有较好的近似，就是最佳逼近问题。最佳逼近是在函数空间M中选P(x)满足但由于绝对值函数不宜进行分析运算,常将上式化为来讨论，于是最佳逼近问题变为最佳平方逼近问题,而离散的最佳平方逼进问

3、题就是常说的曲线拟合它们都可用最小二乘法求解。主页曲线拟合的最小二乘法最小二乘原理当由实验提供了大量数据时,不能要求拟合函数在数据点处的偏差,即(i=1,2,…,m)严格为零,但为了使近似曲线尽量反映所给数据点的变化趋势,需对偏差有所要求.通常要求偏差平方和最小,此即称为最小二乘原理•最小二乘法的求法•最小二乘法的几种特例例题二线性最小问题的存在与唯一在科学实验中，很多情况数据间存在线性或可转化为线性的关系。线性最小二乘是最基本也是最重要的一种。1线性最小二乘问题与线性最小二乘求解设Ax=b其中ARmn，bRm，xRn当m

4、n时，上方程超定方程组令r=b-Ax，一般，超定方程无通常意义下解，既无x使t=0。对这类方程求解意义是求x，使r22=b-Ax22为最小，称x为Ax=b的最小二乘解。主页2最小二乘解的存在性与唯一性定理：x*为Ax=b的最小二乘解充要条件ATAX*=ATb证明：充分性：若存在X*，使ATAX*=ATb则对任意向量令x=x*+y有b–Ax22=b–AX*22–2（y，AT（b–AX*））+Ay22=b–AX*22+Ay22b–AX*22X*为Ax=b的最小二乘解。

5、必要性：令b–AX22=（x1，x2，，xn）=（x）则由多元函数极值的必要条件知，若X*为极值点，则（x）

6、——

7、=0xi

8、x=x*而（x1，x2，，xn）=bTb–2Ax+（Ax）TAx（x）由——=0（i=1，2，n）ATAx=ATb。xi若x*为Ax=b最小二乘解，则ATAx*=ATb。证毕ATAx=ATb称为最小二乘问题的Ax=b法方程组。当A=（aIj）mn的秩为n，既A的列线性无关时，ATAx=ATb有唯一解。三线形模型的正规方程关于拟和模型必须能反映离散点分布基本特征。常选取是线

9、性拟和模型，既所属函数类为M=Span{0，1，…n}，其中0，1，…n是线性无关的基函数m于是（x）=cjj（x）j=0通常选取每个j是次数j的简单多项式，即M是次数n的n次多项式空间。取j（x）=xj，j=0，1，…，nM=Span{1,x,x2，…，xn}，从而（x）=C0+C1x1+…+Cnxn=Pn(x)主页n设离散数据模型（x）=cjj（x）j=0则求解归结为n+1元函数S的极值问题:mnS（c0，c1，…，cn）=i[yi¯cjj（xi）]2i=0j=0显然S达最小值必要条件

10、是Smn—=2i[yi¯cjj（xi）]k（xi）=0Cki=0j=0（k=0，1，…，n）这是关于c0，c1，…，cn的方程组，n改写成（j，k)cj=(y,k)(k=0,1,2,…n)称为正规方程组j=0其中mn（j，k)=ij（xi）k（xi）i=0j=0一般，n

11、设其解为cj=cj*，j=0，1，…，n则所要求的离散点的拟合函数(最佳平方逼近)为n*（x）=cj*j（x）。J=0对已知连续函数f(x)的最佳平方逼近问题与离散点的最佳平方逼近有相同形式的正规方程组和结论,只不过内积公式变为