《现代信号处理》PPT课件(I)

《《现代信号处理》PPT课件(I)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、参数估计理论2.1估计子的性能2.2Fisher信息与Cramer-Rao不等式2.3Bayes估计2.4最大似然估计2.5线性均方估计2.6最小二乘估计参数估计理论的两个核心内容：对估计子与真实参数的接近度进行量化定义；研究不同的估计方法以及它们的性能比较。2.1估计子的性能无偏估计与渐近无偏估计估计子定义：由N个样本获得的真实参数的估计子是一个将N维样本空间映射为p维参数空间的函数T，记作：。估计子偏差:该估计子误差的期望值，即无偏估计子：估计子的偏差等于零例.均值和方差估计的偏差因为有和有偏的是否就不好？渐近无偏估计子：若当样本长度N→∞时，偏差→0

2、，即注1：一个无偏的估计子一定是渐近无偏的，但渐近无偏的估计子不一定是无偏的。注2：渐近无偏的估计子是半正定的，而无偏估计子不一定是半正定的。注3：偏差是误差的期望值，但是偏差为零并不保证估计子误差取低值的概率就高。No例.自相关函数的估计子一致性一致性：若N→∞时，估计子以概率收敛于真实参数，则该估计子称为以概率与真实参数一致。估计子的有效性两个无偏估计子的比较方差较小的相对有效性无偏与渐近无偏估计子的比较估计子的均方误差：该估计子与真实参数误差平方的期望值估计子优于估计子：对所有，恒有2.2Fisher信息与Cramer-Rao不等式品质函数：真实参数

3、给定的条件下，条件分布密度函数的对数相对于真实参数的偏导数。品质函数均值为零Fisher信息：品质函数的方差Cramer-Rao不等式：令为样本向量。若参数估计是真实参数的无偏估计，且和存在，则的均方误差所能达到的下界（Cramer-Rao下界）等于Fisher信息的倒数其等号成立的条件是的某个正函数，与样本无关。优效估计子：无偏估计子的方差达到Cramer-Rao下界2.3Bayes估计损失（代价）函数：令θ是属于参数空间Θ的某个参数，θ是在决策或判定空间A中取值的一个估计，称为损失函数或代价函数，若它是和θ二者的实值函数，且满足条件：（1）对所有和，恒

4、有；（2）对每个至少在决策空间A内存在一个，使得。三种常用损失函数绝对损失函数二次型损失函数均匀损失函数风险函数：损失函数的数学期望Bayes估计：使风险函数最小的参数估计二次型损失函数的Bayes估计使二次型风险函数最小的估计称为最小均方误差（MMSE）估计。风险函数二次型损失函数的Bayes估计均匀损失函数的Bayes估计均匀损失函数最小化的条件等价为称为后验概率密度的最大化，所求得的参数估计常简称为最大后验概率估计还可等价为故求得的参数估计也称最大似然估计2.4最大似然估计基本思想在对被估计的参数没有任何先验知识的情况下，利用已知的若干观测值估计该参

5、数。似然函数视为真实参数的联合条件概率密度函数即包含未知参数信息的可能性函数最大似然估计使似然函数最大化的估计值，记为似然函数的另一表示（对数似然函数)最大似然估计的求解最大似然估计的性质：最大似然估计一般不是无偏的，但其偏差可以通过对估计值某个合适的常数加以消除；最大似然估计是一致估计；最大似然估计给出优效估计，如果它存在的话；对于大的N，最大似然估计为高斯分布，并且其均值为θ，方差为例.令是从一个具有概率密度函数的正态分布得到的随机观测样本，试确定均值和方差的最大似然估计。似然函数均值最大似然估计方差最大似然估计例.令接收信号由下式给出：若是一高斯白噪

6、声，求估计值的方差的Cramer-Rao下界，并评估是否是优效估计子。其对数似然函数最大似然估计是无偏的其Fisher信息其Cramer-Rao不等式其等号成立的条件2.5线性均方估计问题Bayes估计需要已知后验分布函数最大似然估计需要已知似然函数会导致非线性估计问题，不易求解线性均方（LMS）的参数估计子式中，为待定的权系数原理使均方误差函数最小正交性原理均方误差最小，当且仅当估计误差正交于每一个给定的观测数据权系数的公式其中相关矩阵非奇异的条件：观测样本相互独立线性均方估计是一种MMSE估计子2.6最小二乘估计建模的三种情况式中，为未知的参数向量，A

7、和b分别是与观测数据有关的系数矩阵和向量适定方程：未知参数个数与方程个数相等，矩阵A非奇异，解为超定方程：方程个数多于未知参数个数，矩阵A的行数多于列数（“高矩阵”）；欠定方程：方程个数少于未知参数个数，矩阵A的行数少于列数（“扁矩阵”）；最小二乘估计：使其损失函数（误差的平方和）最小，即解方程A列满秩，参数向量惟一可辨识A秩亏缺，参数向量不可辨识Gauss−Markov定理：当误差向量的各个分量具有相同的方差，且个分量不相关时，最小二乘估计在方差最小的意义上最优。加权最小二乘估计损失函数：加权误差平方和其解加权矩阵的确定：误差向量方差矩阵决定设式中正定矩

8、阵用P-1左乘原观测模型新的误差向量其最小二乘估计