3.4.1-3.4.2最小二乘估计

《3.4.1-3.4.2最小二乘估计》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、343.4-最小二乘估计343.4-最小二乘估计引言：在前面几节里，是通过考虑无偏估计的类型和确定最小方差来寻找最优和接近最优估计。现在我们抛开这些限制，研究另一类估计，这类估计一般不与最优性质相关，但对于很多估计问题却很有意义，这就是最小二乘估计。最小二乘估计是一种相当古老的估计方法，早在1795年高斯就使用这种方法来研究行星的运行轨迹。343.4-最小二乘估计举例：1.曲线拟合2.不相容方程组AXb=当rank(,)Ab≠rank()A，即bA∉R()，此时无解。最小二乘解X0的定义AbAX−22≤−Xb0343.4-最小二乘估计引言

2、：最小二乘估计将估计问题归结为直接利用观测数据进行最优化处理，其优化准则是使观测数据与假设信号模型之间误差的平方和最小。这种方法的突出特点是对观测数据不做任何概率或统计的描述，而仅仅假设一个信号模型，实现容易。所以，应用非常广泛。其不足在于它不是最佳的。而且如果没有对数据的概率结构做某些特定的假设，那么统计性能是无法评价的。343.4-最小二乘估计前面我们确定一个好的估计的焦点就是寻找的估计是无偏的且具有最小方差。在选择方差作为“好”的度量中，无疑地是试图使参量的估计值和真值之间的误差（平均）最小。在最小二乘（LeastSquare，LS

3、）方法中，是使观测数据和假设信号之间的平方误差最小。343.4-最小二乘估计MMSE:mininummeansquareerror最小均方误差MVU：mininumvarianceunbiased最小方差无偏BLUE：BestLinearUnbiasedEstimator最佳线性无偏估计CRLB：Cramer‐RaoLowerBound克拉美‐罗下界MLE：MiMaximumLiklihLikelihoodEtitiEstimation最大似然估计LSE：LeastSquareEstimator最小二乘估计343.4-最小二乘估计假设取决

4、于未知参量θ的模型产生信号s[n]，这个信号s[n]是完全确定的信号，由于观测噪声或模型不准确，观测到的信号是受干扰的信号，用观测数据x[n]表示，θ的最小二乘估计（LSE）就是选择使s[n]最靠近观测数据的值x[n]θ。343.4-最小二乘估计靠近程度用LS误差指标来度量N−12Jx(θ)=∑([][]n−sn)=nN0,1,,"−1n=0•式中J是θ的函数，是通过s[n]反映出来的。使J最小的θ就是LSE。注意，这里没有做出关于观测数据x[n]的概率假设。这种方法无论对高斯还是非高斯噪声同样有效。当然，LSE的性能无疑取决于干扰噪声以

5、及模型的性质。•LSE通常在以下几种情况中使用：数据的准确统计特性未知，或不能找出最优估计，或最优估计在实际应用时太复杂的场合。343.4-最小二乘估计例：直流电平信号假设信号是s[n]=A，观测数据为xnn[],=0,1,,"N−1，那么，根据LS法，使下式最小可估计A。N−1()∑()2JA=x[n]−An=0上式对A求导并令结果为零可得N−11A=∑x[n]=xNn=0这正是我们熟悉的样本均值估计，然而，这里没有声明在MVU意义上的最优，而仅仅是使LS误差最小。原因是什么？3.4-最小二乘估计例1：直流电平信号根据前面的讨论，如果x

6、[n]=A+w[n]，wn[]是零均值的WGN，那么，LSE也就是MVU估计，否则，LSE不是MVU估计。为了理解这'一点，考虑噪声不是零均值情况，假设噪声为wn[]=+Ewn([])wn[]'式中wn[]是零均值噪声，这时观测数据则为()'x[n]=A+E(w[n])+w[n]显然，样本均值估计实际上是A+E(w[n])的估计，这时的LSE是有偏估计，不是MVU估计。也就是说，必须假设观测数据是由确定信号和零均值噪声组成，在信号参量的正确选择下，误差e[n]=x[n]−s[n]在平均意义下趋于零，则LS是合理的。（BLUE）如果假设的直

7、流量信号模型不正确，例如x[n]=A+Bn+w[n]则这个模型误差也将引起LSE是有偏的。3.4-最小二乘估计例2：正弦信号的频率估计考虑信号模型：sn[]=cos2πf0n式中f0是待估计参量,的f0LSE通过使下式最小找到N−1()∑()2Jf0=x[n]−cos2πf0nn=0前例中DC电平信号的误差是二次型函数，因此容易最小化。本例中的LS误差是f的高度非线性函数，不能找到使LS误差最0小值的参量估计的闭合形式。对于信号模型是待估计参量的线性函数的最小二乘情况我们称为线性最小二乘问题，否则称为非线性最小二乘问题。应该注意的是线性最

8、小二乘问题是指信号是待估计参量的线性函数，信号本身不必是线性的。3.4-最小二乘估计例3：正弦信号的幅度估计考虑信号模型：sn[]=Acos2πf0n式中A是待估计参量,的ALSE通过使下式最