第二章经典估计理论（MVU和BLUE）ppt课件.ppt

《第二章经典估计理论（MVU和BLUE）ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、经典估计理论——MVU和BLUE罗义军QQ:896442923群号：97508035经典估计理论——内容安排主要内容引言最小方差无偏估计（MVU）Cramer-Rao下限线性模型最佳线性无偏估计（BLUE）参数估计——引言：DSB接收目标：已知，寻求某种意义上的最佳估计估计的数学问题已知观测数据未知参量如何得到估计问题的统计信息？需要数据的N维pdf，与θ有关θ看作确定参数θ看作随机参数经典估计，不提供θ的全部先验信息贝叶斯估计，要利用θ的先验pdf求估计量性能评估估计量是否接近参数的真实值？是否还有更好的

2、估计?通常可采用估计量的均值和方差来衡量期望：估计量无偏最小方差准则均方误差准则（meansquareerror，MSE）——一个很自然的准则令修正估计量则不可实现令与A有关因此，增加约束条件：偏差为0经典估计理论——内容安排主要内容引言最小方差无偏估计（MVU）Cramer-Rao下限线性模型最佳线性无偏估计（BLUE）最小方差无偏估计第一次观测：38.0第二次观测：37.9第三次观测：38.1第四次观测：38.1第五次观测：37.9前后观测五次温度值如下：取个平均！38摄氏度高斯白噪声，0均值，方差为σ

3、2为无偏估计方差为最小方差无偏估计的存在性如果仅有三个无偏估计量有时无法获得MVUE没有无偏估计量不存在一致方差最小的无偏估计量找不到MVUE求最小方差无偏估计量几种可能的求解方法：确定CRLB并检查是否有估计量满足该条件（3、4章）。限定估计量为线性的，然后寻找最小方差无偏估计（6章）。经典估计理论——内容安排主要内容引言最小方差无偏估计（MVU）Cramer-Rao下限线性模型最佳线性无偏估计（BLUE）例：均匀噪声的均值均匀噪声，估计量方差为例5.8观测数据均值估计量方差为显然为无偏估计Cramer-

4、Rao（CRLB）下限是任何无偏估计量方差的下限若是参数θ的无偏估计量，则对任何无偏估计量的方差确定一个下限，这在实际中证明是极为有用的。最好的情况下，允许确定估计量是MVU估计量最坏的情况下，为比较无偏估计量的性能提供了一个标准。也提醒我们不可能求得方差小于下限的无偏估计量Cramer-Rao下限定理3.1（CRLB－标量参数）假设pdf满足正则条件其中数学期望是对求取的。那么，任何无偏估计量的方差必定满足或（参见附录3A）克拉美-罗限（CRLB）(4.4.9)(4.4.11)(4.4.12)对于某个函数

5、，当且仅当下式成立时，可以求得对所有θ达到下限的无偏估计量。该估计量是，它是MVU估计量，最小方差是Cramer-Rao定理举例例3.1的CRLB由定理3.1而例3.3高斯白噪声中的固定参数估计此时，采样平均即为MVUE！有效估计定义若估计量：无偏；且达到Cramer-Rao下限。则称为有效估计必须指出：不是所有估计都是有效的甚至并非所有的MVUE都是的相位估计的CRLB例3.4则信号功率，噪声功率有效估计当且仅当不存在有效估计CRLB-Fisher信息Fisher信息：CRLB的分母。基本性质非负的对独立

6、观测的可加性高斯白噪声中信号的CRLB则信号对参数变化越敏感，CRLB越小，越可能获得更准确的估计参数的变换若希望估计则越大，则→θ的小误差将会造成α的更大误差→从而增大CRLB，恶化估计的准确度即经典估计理论——内容安排主要内容引言最小方差无偏估计（MVU）Cramer-Rao下限线性模型最佳线性无偏估计（BLUE）一般线性模型白高斯噪声中的信号N×1已知观测矩阵（N×P）P×1已知偏移（N×1）数据矢量已知且满秩待估参数已知矢量形式为考虑特例：线性观测一般线性模型：观测矩阵需要满秩必须假定H为满秩矩阵否

7、则，估计问题成为病态问题对于给定矢量S，将会有多个不同的θ矢量可以获得即对于任意，使得因此，无法根据观测量对参数θ进行估计线性模型的重要性以下几个原因：某些应用确定为该模型非线性模型有时候可以线性化寻找最佳估计相对简单一般线性模型的MVUE若则证明：首先假定b=0，这很容易推广到一般情况由CRLB定理，得出MVU估计，并达到CRLB下限线性模型的MVUE定理4.1若观测数据可表示为则MVU估计量协方差矩阵MVU估计量达到了CRLB线性模型的例子例4.1曲线拟合注意：“线性”的含义模型对于横坐标n为二次函数而

8、对于参数θ则是线性的观测数据则MVU估计傅里叶分析例4.2数据模型：待估参数待估参数：（傅里叶系数）观测矩阵：MVU估计量为利用三角函数的正交特性可见，白高斯噪声中信号的傅里叶系数，是无噪声信号傅里叶系数的MVU估计！！系统辨识一些应用领域：无线通信（识别和均衡多径）地球物理探测（石油勘探）喇叭扩音器（回波抵消）在很多应用中，假定系统为FIR滤波器（长度为p）目标：确定系统模型则经典估计理论——内容安排主要内容引