北大随机过程课件：第6章第1讲最小均方误差线性估计.pdf

《北大随机过程课件：第6章第1讲最小均方误差线性估计.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、估值概述1．估值的意义随机变量的分布函数完全确定了它的统计特性，但是，基于这种统计特性的描述，我们依然无法预测某一次试验的观察结果确定地是什么。如果想用某一个确定的值去作为观察结果的估计值，可以利用概率分布函数去选择一个合理的值。数学期望：统计平均值，无条件估值，统计误差为方差估值：利用已有的观测量的信息，估计估计量的取值，减小关于估计量的不确定性。2．估值的应用最基本的问题是利用对一个随机变量的观测对另一个随机变量进行估计根据当前取值来预测下一个时刻取值的预测编码；根据接收的信号序列来估计发送序列某个时刻发送值的均衡问题；根据信号和噪声之和的序列来估计

2、信号的噪声抑制问题；3．估值问题的研究内容与方法估值研究的是统计意义上的估计问题。由于是对一个不确定量的估计，一定存在估计误差，关键在于利用某种原则、方法选择估计值，使估计误差在某种意义下是最小的。估值准则的选取：有实际意义，有用；并且是能够得到简单解的。“估计的均方误差最小”的估计准则是应用最广的一种估计思想，简称MS估计，相应的估计误差简称MMSE。“输出信噪比最大”是雷达系统中最佳接收的工作原理。在一定的估计准则下，有不同的解决具体估值问题的方法：V非线性估值V线性估值V维纳滤波V匹配滤波V递归线性均方估值其中一个重要的问题就是确定估值参数估值的评

3、估：分析估值误差均方误差最小的最佳线性估计估值问题设ξ和η是两个随机矢量，两者存在联合分布，其中η是观察矢量，通过η对ξ进行估值，得到符合某种准则的最佳估值ξ。1均方误差最小的估值问题均方误差最小的估值问题设ξ和η是两个随机矢量，两者存在联合分布，设η是观察矢量，通过η对ξ进行估值，求均方误差最小的估值ξ。2⎧⎫{2}τE⎨ξ−ξˆ(η)/η=Y⎬=minEξ−K/η=Y，其中Kkk=(,12，……，kn)⎩⎭为任意矢量。均方误差最小估值的解：均方估值和条件均值的关系{2}Eξ−K/η=Y{}{}{}2=Eξ−Eξ/η+Eξ/η−K/η=Y{}{}2=E

4、Eξ/η−K/η=Y+E{}[ξ−E{}{}ξ/η]⋅[Eξ/η−K]/η=Y+E{}[ξ−E{}ξ/η]⋅[E{}ξ/η−K]/η=Y{}{}2+Eξ−Eξ/η/η=Y{}{}2{}{}2=EEξ/η−K/η=Y+Eξ−Eξ/η/η=Y为了使均方误差最小，应使K=E{}ξ/η，即：ξˆ(η=Y)=E{ξ/η=Y}定理ξ=(ξ,ξ,?ξ)η=(η,η,?η)设随机矢量12n和12m的联合概率密度函数是，f(x,x,?,x;y,y,?y)f(y,y,?y)≠0ξη12n12m且η12m，则ξ关于η的最小均方误ξˆ(η)=E{}ξ/ηEEξξ−=−ˆ(η)2

5、minξg(η)2差估计为，它满足{}{}。例：设ξ和η服从二元高斯分布，求最佳估值ξˆ(η)解：211⎛⎞⎛⎞σ==⎜⎟−⎜⎟−−ξ−fxy(/ημ)expxρ(yμ)ξη/21πσr22⎜⎟2(1−r22)σσ⎜⎟ξη()−ξ⎝⎠ξη⎝⎠σξˆ()ηξ==EY{}/ημ=+−ρμξ(y)ξησηEE{ξˆ()ηξ}=={EY{}/ημ}=ξ22EE⎡⎤ξηˆ()−=μ⎡ρσσ(/)(⋅y−μ)⎤{⎣⎦ξξ}{⎣ηη⎦}2=()ρσξ2均方误差最小的线性估计ξˆ(η)=E()ξ/η对于正态分布的随机变量，ξ关于的η最小均方误差估计是一个线性ξˆ(η)=

6、E(ξ/η)估计，对于非正态分布的随机变量，估计一般不是线性的。这时需要找到一个关于η的线性函数作为最佳估计。定义：2⎧ξξˆ⎫=ξ−(Aη+b)2ξ关于的η估计ξˆ(η)=Aη+b，使得E⎨−⎬E{}达到最小⎩⎭值，这时ξˆ(η)=Aη+b称作为最佳线性估值。其中ξ是n×1的矢量，η是m×1的矢量，A是n×m的矩阵，b是n×1的矢量。问题：确定A、b结论：bE=−ξAEηjjj−1Aj=(CC[]ξηj)()[]ηη即，ξˆ=Eξ−CC−1Eη+CC−1ηjj[ξjη][ηη][ξjη][ηη]ξξˆ=−EECC−−11η+CCηξηηηξηηηT如果

7、ξ，η=(ηη?η)均值为零，则有12mξˆ=CC−1ηj[ξjη][ηη]方法：1）极值分析法求估值的均方误差2HT2ED⎡⎤ξξηξ−=ˆ/+AAACH−C−AC+⎡⎤Eξ−AEη−b{⎣⎦jj}jj[]ηηjj([]ξηjj)j([]ξη)⎣⎦jjjAj、bj的取值应使估值的均方误差对Aj、bj的偏微商为零，从而确定Aj、bj；2)正交性原理定理：满足正交性的线性估计（从正交性原理进行推导）如果用复随机变量η1，η2，…，ηm的线性组合ξˆ=+++aaηη?aη来估1122mm计复随机变量ξ，其估计误差e=ξ−ξˆ。若e和η1，η2，…，ηm正交，

8、则此估计是最小均方误差线性估计。利用Ee{⋅ηξ}=−+++E{[(aηaηaη