参数估计的基本理论

《参数估计的基本理论》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第3章参数估计的基本理论信号检测：通过准则来判断信号有无；参数估计：由观测量来估计出信号的参数；解决1）用什么方法求取参数，2）如何评价估计质量或者效果严格来讲，这一章研究的是参数的统计估计方法，它是数理统计的一个分支。推荐两本参考书高等教育出版社《数理统计导论》，《NonlinearParameterEstimation》。我们首先从一个估计问题入手，来了解参数估计的基本概念。3.1估计的基本概念3.1.1估计问题对于观察值是信号和噪声叠加的情况：其中是信号的参数，或就是信号本身。若能找到一个函数，利用可以得到参数的估计值，相对估计值，称为参数的真值。则称为参数的一个

2、估计量。记作。在上面的方程中，去掉n实际上是一个多元方程求解问题。这时，如果把n看作是一种干扰或摄动，那么就可以用解确定性方程的方法来得出。但是我们要研究的是参数的统计估计方法，所以上面的描述并不适合我们的讨论。下面给出估计的统计问题描述。（点估计）设随机变量具有某一已知函数形式的概率密度函数，但是该函数依赖于未知参数，，称为参数空间。因此可以把的概率密度函数表示为一个函数族。表示随机样本，其分布取自函数族的某一成员，问题是求统计量，作为参数的一个估计量。以上就是用统计的语言给出的参数估计问题的描述。关于“统计量”的定义：不依赖于未知参数的一元（或多元）随机变量9的函数

3、。统计量的两个特征：1，随机变量的函数，因此也是随机变量；2，不依赖于未知参数，因此当我们得到随机变量的一组抽样，就可以计算得到统计量的值。例3-1：考虑由，给定的观测样本。其中是未知参数，为噪声，取自分布。容易得到服从分布，s的一个估计值是：如果未知，则它的一个估计量为：有时估计结果会以这样的形式给出：s以95%的置信度位于区间中。我们称其为区间估计。区间估计量也可以直接计算得到，而不必先计算点估计量。当我们以某种函数形式给出估计量以后，是不是任务就结束了呢？还有一个任务是：建立一些准则或者性能指标来评价估计的质量。3.1.1估计的偏差和无偏性若是参数的估计值，则定义

4、估计的偏差为：（3-1）即估计值的均值与真值的差。若估计偏差，即，则估计是无偏估计。这里隐含假定是存在的。无偏性定义:定义：是的一个无偏估计，若在所有可能的样本范围内的平均值等于的真值，即9（3-2）称为无偏估计，否则为有偏估计。在有偏估计中，如果随着样本数的不断增大，偏差趋向于0，即：则该估计称为渐进无偏估计让我们分析例3-1的无偏性，注意数学期望是一个线性算子。如果噪声是零均值的，即，或对所有有，则是的一个无偏估计。从数理统计这门课，我们知道样本方差对于方差是有偏的，因为无偏估计量是。但是样本方差是渐进无偏的。直觉上，一个好的估计量应当具有无偏性，但是实际上完全的无

5、偏性通常是达不到的，只能希望小的偏差。而且估计的偏差也不是特别地的重要，因为估计误差不仅仅是偏差。估计的偏差和估计误差不是一回事，偏差只代表估计量的系统误差。都是s的无偏估计量，系统误差都为零。接下来，要研究估计误差的另一个性质——估计的方差，它反映了估计量的随机误差大小。3.1.1估计的方差和Cramer-Rao（克拉美-劳）不等式估计的方差：9方差：估计值相对于均值的分散程度。即越大就越发散，反之越小就越集中。任何无偏估计方差的下界叫做C-R下界用它来衡量估值方差的最小值。下面给出的定理是克拉美-劳定理的精简版。定理：若是参数的一个无偏估计，是观测值X（）的联合条件

6、概率密度，若存在，则该估计的方差存在一个下界，即（3-3）这个不等式就被称为克拉美-劳不等式，此下界被称为是估计方差的C-R下界。式中等式在下述条件下是成立的：（3-4）其中是与参数有关与观测值无关的正函数。这里把参数当作随机变量。如果其真值是客观存在的未知常数，怎么去理解？我们将参数空间，分成若干个子空间（或子集），认为将以不同的概率落入不同的子空间当中。如果实在理解不了，可以看做是。证明：由于是参数的一个无偏估计，有：即而可以写成为：，表示所以：对参数求偏导：9由于有关系式：则可以得：根据：有：根据Schwarz不等式得：即：由于则有：而所以（3-3）的不等式成立同

7、时，当且仅当即：其中是与参数有关而与观测值无关的系数时，（3-3）的等式成立。定理给出了无偏估计最小方差的计算公式。克拉美－劳下界与N的关系。定义随机变量9，，所以有，，。从而z为一组零均值且相互独立的随机变量的和，其方差因此，克拉美－劳下界与1/N成正比。3.1.1估计的有效性上面介绍了估计量的偏差和方差。下面介绍估计的另一个性质——有效性。我们在科研工作当中，经常会用到“精度”或者“精确性”这样的词汇。那么怎样来评价估计量的精度呢？显然，合理的评价方法应该是综合考虑偏差和方差，下面给出均方误差的定义：均方误差：注意它与方差的区别。估计