资源描述：
《参数估计的基础实际》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、第3章参数估计的基本理论信号检测：通过准则来判断信号有无；参数估计：由观测量来估计岀信号的参数；解决1）用什么方法求取参数，2）如何评价估计质量或者效果严格来讲，这一章研究的是参数的统计估计方法，它是数理统计的一个分支。推荐网本参考书高等教育出版社《数理统计导论》，《NonlinearParameterEstimation》。我们首先从一个估计问题入手，来了解参数估计的基本概念。3.1估计的基本概念3.1.1估计问题对于观察值x是信号$和噪声n叠加的情况：x=s（&）+〃其中&是信号S的参数，或“就是信号木身。若能找到一个函数/（兀），利
2、用/Z，兀2,…心）可以得到参数&的估计值3,相对估计值3，0称为参数的真值。则称/（无］宀,…心）为参数&的一个估计量。记作芬/匕宀‘…心）。在上面的方程中，去掉n实际上是一个多元方程求解问题。这时，如果把n看作是一种干扰或摄动，那么就可以用解确定性方程的方法來得出/（兀）。但是我们要研究的是参数的统计估计方法，所以上面的描述并不适合我们的讨论。下面给出估计的统计问题描述。（点估计）设随机变量兀具有某一已知函数形式的概率密度函数，但是该函数依赖于未知参数&,,Q称为参数空间。因此可以把兀的概率密度函数表示为一个函数族p（x;0）o兀］，
3、兀2,…，兀N表示随机样本，其分布取门函数族P（X;3）的某一成员，问题是求统计量0=/匕,兀2,…兀V），作为参数&的一个估计量。以上就是用统计的语言给出的参数估计问题的描述。关于“统计量”的定义：不依赖于未知参数的一元（或多元）随机变量的函数。统计量的两个特征：1,随机变量的函数，因此也是随机变量；2,不依赖于未知参数，因此当我们得到随机变量的一组抽样，就可以计算得到统计量的值。例3・1：考虑由兀=$+%（21,2,…，N）,给定的观测样本。其中$是未知参数，％为噪声，取自分布MOq：）。容易得到兀服从分布s的一个估计值是:=/（州，
4、兀2，・・・心）=£-（州+兀2+•••*）如果b未知，则它的一个估计量为：1N1N有时估计结果会以这样的形式给出：S以95%的置信度位于区间（s-t&n,s+t&n）中。我们称其为区间估计。区间估计量也可以直接计算得到，而不必先计算点估计量。当我们以某种函数形式给出估计量以后，是不是任务就结束了呢？还有一个任务是：建立一些准则或者性能指标来评价估计的质量。3.1.2估计的偏差和无偏性若g是参数&的估计值，则定义估计的偏差为:(3-1)b严©-&即估计值的均值与真值的弟。若估计偏弟b产0,即E（0]=O,则估计是无偏估计。这里隐含假定E（
5、0）是存在的。无偏性定义：定义：0是&的一个无偏估计，若&在所冇可能的样本范围内的平均值等于&的真值，即E0=0（3-2）称为无偏估计,否则E卩卜&为有偏估计。在有偏估计中，如杲随着样本数N的不断增大，偏差血趋向于0,即：lim^=0则该估计称为渐进无偏估计NT8&让我们分析例3・1的无偏性，注意数学期望是一个线性算子。%）=巧）=令［Eg）+…+E（讥1厂=—s+E（®）+・r+E（你）」N1r=$+万［E（〃i）+…+E（®）］如果噪声厲是零均值的,即E（®）+・・・+E（〃n）=0,或对所有i有E（n,.）=0,则s是s的一个无偏估
6、计。1N1N从数理统计这门课，我们知道样本方差^=-y（x,-Av）2,对于N台N台1N1N方差力是有偏的，因为无偏估计量是&爲*辽兀。但是样本方差是渐进无偏的。直觉上，一个好的估计量应当具有无偏性，但是实际上完全的无偏性通常是达不到的，只能希望小的偏差。而且估计的偏差也不是特别地的重要，因为估计误差不仅仅是偏差。估计的偏差和估计误差不是一冋事，偏差只代表估计量的系统误差。州，心都是S的无偏估计量，系统误差都为零。接卜•来，耍研究估计误差的另一个性质——估计的方差，它反映了估计量的随机误差大小。3.1.3估计的方差和Cramer-Rao（
7、克拉美•劳）不等式估计的方差:方差：估计值方相对于均值可可的分散程度。即穴越大就越发散，反Z硏越小就越集中。任何无偏估计方差的下界叫做C-R下界用它来衡量估值方差的最小值。下面给岀的定理是克拉美■劳定理的精简版。定理：若0是参数&的一个无偏估计，p（XI0）是观测值X（旺‘2,…，心）的联合条件概率密度，若呼存在，则该估计的方差存在-个下界，即E<]dlnp(X10)]需12(X10)(3-3)这个不等式就被称为克拉美■劳不等式，此下界被称为是估计方差的C・R下界。式中等式在下述条件下是成立的:(3-4)其中紅&）是与参数0有关与观测值X
8、无关的正函数。这里把参数0当作随机变量。如果其真值&（）是客观存在的未知常数，怎么去理解？我们将参数空间Q,分成若干个了空间（或了集），认为％将以不同的概率落入不同的了空间当中。“（XI&）如
