最新最小二乘法课件PPT.ppt

《最新最小二乘法课件PPT.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、最小二乘法第一节最小二乘法原理最小二乘法的发展已经历了200多年的历史，它最早起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用。特别是近代矩阵理论与电子计算机相结合。使最小二乘法不断地发展而久盛不衰。最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。一、问题背景在测量的实验数据处理中，经常需要根据两个量的一批观测数据(xi，yi)，i=1，2，…，n求出这两个变量Y与X之间所满足的一个函数关系式Y＝f(X)。若变量间的函数形式根据理论分析或以往的经验已经确定好了，而其中有一些参数是未知的，则可通过观测的数据来确定这些参数；若变量间的具体函数形式尚未确定，则需要通过观测

2、数据来确定函数形式及其中的参数。二、最小二乘法准则与正规方程在参数估计问题中，最小二乘法的法则是：所选取的参数估计值，，…，应使变量Y的诸观测值yi与其真值的估计值(又叫拟合值)，即f(xi；a1,a2，…ak)之差的平方和为最小。用式子表示时，记残差νi为最小二乘法就是要求=最小在这个条件下，利用数学中求极值的方法可以求出参数，，…，。这样求出的参数叫参数的最小二乘估计。正规方程根据数学分析中求函数极值的条件：=最小共得k个方程，称正规方程，求此联立方程的解可得出诸参数估计值(j＝1，2，…，k)。不等精度情况下的最小二乘法以上是等精度观测的情况，若诸观测值yi是不等精度的观测，即它们服从不

3、同的方差σi2的正态分布N(0，1)，那么也不难证明，在这种情况下，最小二乘法可改为：选取的参数估值应使诸观测值yi与其估计值之差的加权平方和为最小。用式子表示就是要使=最小其中，wi为各观测值yi的权。wi＝σ2／σi2，，i＝1，2，…，n。这里σ2为任选的正常数，它表示单位权方差。不等精度情况下的最小二乘法正规方程同样地，根据数学分析中求函数极值的条件：共得k个方程，称正规方程，求此联立方程的解可得出诸参数估计值(j＝1，2，…，k)。最小二乘法的几何意义从几何图形上可看出,最小二乘法就是要在穿过各观测点(xi，yi)之间找出这样一条估计曲线，使各观测点到该曲线的距离的平方和为最小。YX

4、三、最小二乘法与最大似然法的关系如果假定各观测值是相互独立且服从正态分布，期望值是μ(xi；a1，a2，…，ak)，方差是σi2,则观测值的似然函数为最大似然法要求上式取极大值，这就相当于要求指数项中的=最小这就说明了在观测值服从正态分布的条件下，最小二乘估计与最大似然估计是一致的。观测值不服从正态分布时的最小二乘估计实质上，按最小二乘条件给出最终结果能充分地利用误差的抵偿作用，可以有效地减小随机误差的影响，因而所得结果具有最可信赖性。假若观测值不服从正态分布，则最小二乘估计并不是最大似然估计。但应该指出，在有些问题中观测值虽然不服从正态分布，但当样本容量很大时，似然函数也趋近于正态分布，因此

5、，这时使用最小二乘法和最大似然法实质也是一致的。不服从正态分布时最小二乘法的统计学性质若观测值是服从正态分布的，这时最小二乘法和最大似然法实际上是一回事。但观测值不服从正态分布或其分布未知时，这时用最小二乘法显得缺乏理论的验证。但应该指出，作为一种公理来使用，最小二乘法仍然是可以接受的，而且可以证明，所得到的估计仍然具有一些很好的统计性质，这些性质是：(1)解是无偏的，即(2)解是观测值的线性组合，且有最小方差。这称为高斯—马尔可夫定理;(3)加权的残差平方和的期望值是当σ2＝1，即取wi＝1/σi2，这时称为χ2量。期望值为n－k。第二节线性参数的最小二乘法一般情况下，最小二乘法可以用于线性

6、参数的处理，也可用于非线性参数的处理。由于测量的实际问题中大量的是属于线性的，而非线性参数借助于级数展开的方法可以在某一区域近似地化成线性的形式。因此，线性参数的最小二乘法处理是最小二乘法理论所研究的基本内容。一、线性参数的测量方程一般形式线性参数的测量方程一般形式为（5-7）相应的估计量为（5-8）误差方程其误差方程为（5-9）二、线性参数的误差方程式的矩阵形式设有列向量和n×t阶矩阵(n＞t)则线性参数的误差方程式(5—9)可表示为即（5-10）等精度测量最小二乘原理的矩阵形式即或（5-11）（5-12）残余误差平方和最小这一条件的矩阵形式为不等精度测量最小二乘原理的矩阵形式最小二乘原理的

7、矩阵形式为或（5-14）（5-13）式中的P为n×n阶权矩阵。线性参数的不等精度测量还可以转化为等精度的形式，从而可以利用等精度测量时测量数据的最小二乘法处理的全部结果。三、线性参数最小二乘法的正规方程为了获得更可取的结果，测量次数n总要多于未知参数的数目t，即所得误差方程式的数目总是要多于未知数的数目。因而直接用一般解代数方程的方法是无法求解这些未知参数的。最小二乘法则可以将误差方程转化为有确定