资源描述：
《参数估计理论与应用(第三章)ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第三章参数估计理论与应用3.1参数估计的评价准则3.2基于统计分布的参数估计方法3.3基于模型的参数最小二乘估计本章小结7/30/2021第三章参数估计理论与应用在许多情况下，观测数据所服从的概率模型已知的，而模型的未知部分是以未知参数形式出现的。参数估计的基础是优化理论，即被估计的参数应该在某种准则下是最优的，以及任何获得最优的估计。非参数估计方法不假定观测数据服从某种特定的概率模型。例如，频域上的谱估计与谱线拟合就是典型的非参数估计方法。观测到的状态状态控制x(t)y(t)u(t)v(t)w(t)观量噪声设备噪声设备（模型结构已知、参数未知）测量装置图3-1系统辨识中的参数估计问题7/3
2、0/2021第三章参数估计理论与应用3.1参数估计的评价准则参数估计是通过样本去估计总体的某些数字特征或统计量。任何一个统计量都可作为参数的估计量，但其效果的优劣有所差别。3.1.1无偏性、有效性与相容性（1）无偏性设样本的总体分布密度函数为p(x;θ),θ是未知参数。从总体中抽取容量为N的样本x={x1,…,xN},用样本的估计量来估计θ，如果希望多次估计中，平均的估计值没有偏差，即则称是θ的无偏估计量。7/30/2021第三章参数估计理论与应用例3-1样本均值是总体数学期望的无偏估计。设x1,…,xN是随机过程{xk}的N个独立观测样本，如果参数θ是总体的数学期望E[x]，即用样本的均值
3、作为θ的估计量，对该估计量取期望值，有一个无偏估计量在多次估计中将不会产生系统偏差，但并不意味着有偏估计就不好。如果一个有偏估计是渐进无偏的，即7/30/2021第三章参数估计理论与应用那么它仍然有可能是一个好的估计。考虑实随机过程{xk}的相关函数的两种估计量：假定数据{xk}是独立观测的，容易验证式中，Rx(τ)=E[xk+τxk]是随机数据{xk}的相关函数。以上二式表明，估计量1(τ)是无偏的，而2(τ)则是有偏的。但是，2(τ)是渐进无偏的，即7/30/2021第三章参数估计理论与应用渐进无偏估计量2(τ)是半正定的，而无偏估计量1(τ)却不一定是半正定的，故2(τ)的使用场合较多
4、。（2）有效性如果1和2是两个根据N个独立观测样本得到的无偏估计量，无疑地，对θ的平均偏差较小是选择的标准之一。例如，如果则1的值比2的值更密集地聚集在真值θ的附近。通常将方差（或协方差阵）在所有的无偏估计量中达到最小的称为有效估计量。例3-2设x1,…,xN是N个独立观测样本，若被估计参数7/30/2021第三章参数估计理论与应用θ=E[x]，则对任何满足都是θ的无偏估计量。利用不等式可得在估计总体的数学期望时，简单的算术平均比加权平均好。（3）一致性估计量的精度是与样本的容量N有关系的。一般说来，总是认为N越大估计的效果应该越好。如果记依赖样本容量N的估计为N，当满足7/30/2021第
5、三章参数估计理论与应用则称N是θ的一致性估计量，或相容估计。例3-3设总体x具有均匀分布，分布密度为其中，θ1和θ2是未知参数。总体样本的均值和二阶矩分别为（严格按定义计算）解得7/30/2021第三章参数估计理论与应用按矩的估计方法，用独立样本的均值和独立样本的二阶矩，分别作为总体均值和二阶矩的估计量，就有下面说明1和2分别是θ1和θ2的相容估计。设y1,…,yN是具有同分布的独立观测样本，根据大数定律，有令y=x2,就有7/30/2021第三章参数估计理论与应用于是3.1.2Fisher信息和Cramer-Rao不等式通常希望获得有效的参数估计量。但是，由于不存在导致最小方差无偏估计量的
6、最佳算法，所以通常采用参数无偏估计的Cramer-Rao下限(或CR下界),作为评价参数估计性能的测度。为了简洁叙述这一的评价测度，先定义一个重要的概念。Fisher信息Fisher信息用J（θ）表示，定义为（3.1.1）7/30/2021第三章参数估计理论与应用当考虑N个观测样本X={x1,…,xN},此时，联合条件分布密度函数可表示为将式（3.1.1）中的p(x
7、θ)改为p(X
8、θ)就可给出N个样本变量X的Fisher信息的表达式。定理（Cramer-Rao不等式）设观测样本X={x1,…,xN},若参数估计是真实参数θ的无偏估计，并且条件分布密度函数的p(X
9、θ)对参数θ的一、二阶偏导
10、数存在，则有（3.1.2）参数的方差所能达到的下限（称为CR下限），即上式等号成立的充要条件是7/30/2021第三章参数估计理论与应用其中,函数K(θ)>0，并与样本向量X无关。当为有偏估计量时，Cramer-Rao不等式为（3.1.3）式中η(θ)为估计偏差，即η(θ)=E[]-θ，并假定b(θ)是可微分的。对于多个参数的情况，记θ={θ1，…，θp}，则用矩阵J(θ)表示Fisher信息，其元素Jij(
