自适应处理随机梯度

《自适应处理随机梯度》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第十一章自适应处理－随机梯度法1主要内容11.1概述11.2横向结构的随机梯度法11.3应用实例211.1概述由于生物体是一个复杂的有机体,生理过程受许多难以人为控制的因素影响－－环境诱发的、生理过程自发的(如疲乏、精神状态的变化等)－－它的非平稳性比较突出．因此需要估计来研究生物信号的统计知识。3自适应信号处理的特点：在没有关于待提取信息的先验统计知识的条件下，直接利用观测数据根据某种判据在观测过程中不断地递归更新处理参数，以逐步逼近某一最优处理结果．非平稳信号的统计特性是时变的，因此理论的最忧解答也是时

2、变的．采用自适应算法通过递归来自动跟踪统计性质的变化。4随着计算机和数字处理技术的发展，自适应处理技术也发展很快．就所采用处理器的结构形式看，仍可分为横向结构（也就是抽头延迟线结构）和格形结构两大类，它们都是FIR结构。IIR结构很难.就每输入多少数据重复一次自适应计算看，可分为每进一段数据重新计算一次的成批处理法和每输入一个新数据就把新信息和旧处理结果结合起来推出新结果的递归处理法．5就逐次调节所用的算法看，可以分成随机梯度法和最小二乘法两大类．随机梯度算法优点是：算法简单，易于实时实现，至今仍广泛应用，

3、并且不断有新的发展．最小二乘法文献中称为RLS（RecursiveLeastSquare）RLS法的计算量虽然略高于梯度法，但收敛速度快．更重要的是它的理论基础比较系统，因而是一类有发展前景的自适应算法．6自适应处理的应用范围很广．诸如噪声抵消、回声抵消、谱线增强、通道均衡、系统辨识、时间延迟估计等都可做自适应处理．横向结构的随机梯度自适应算法；生物医学信号处理应用实例．711.2横向结构的随机梯度法11.2.1基本原理令观察值组成的矢量是:X(T)=[xTxT-1┄xT-p-1]’处理器各系数组成矢量W=

4、[w0w1┄wp-1]’此时处理器的输出为8…+-自适应算法随机梯度自适应结构图9与理想响应dT间的误差为：因此：而均方误差是：10式中,是xT延迟0~p-1的自相关阵;是dT与xT间，当xT的延迟值由0~p-1时的互相关系数矢量.Rdd(0)是理想响应dT的均方.11自适应随机梯度法的任务就是在没有先验知识的前提下，随着每一次新观察xT+1的输入，采用一定算法逐次更新W，使它能逐渐接近W*解就是维纳解：12…+-自适应算法随机梯度自适应结构图13随机梯度自适应示意图E(eT2)是系数矢量W的二次函数，由于

5、自相关阵是对称正定的，E(eT2)具有总体最小值，没有局部最小值。14计算抛物面在此点的负梯度：G(T)=–▽w(E(eT2))=2[Rdx-RxxW(T)]沿此方向计算下一次的（指XT+1输出后的）系数更新值：W(T+1)=W(T)+μG(T)(μ是步长因子，控制收敛速度和稳定性也称收敛因子)W(T+1)比W(T)更接近碗底。随机梯度法的特点是用由单位样本求得的梯度值代替真实梯度。G(T)≈–▽w(eT2)=2eTX(T)W(T+1)=W(T)+2μeTX(T)15新观察XT+1输入后，把X(T)更新成重

6、新计算新误差：更新系数W(T+2).如此，随着新数据不断输入，不断重复使用上述两式，使W逐渐趋近W*。这就是随机梯度法的基本原理。步长μ的大小不同，下降过程也就不同。μ值过大时过程甚至可能发散。16（a）μ小，收敛（b）μ过大，发散17以上算法我们要关心的问题：迭代过程一定能收敛吗？即算法稳定性问题；如能迭代，收敛值一定是维纳解W*吗？经多少次跌代才收敛？即收敛速度问题；收敛后系统的均方误差与哪些因素有关？即稳态失调问题。18取均值：由于各次系数W(T)也是随机变量，所以讨论只能在均值意义下进行：19假设W

7、(T)和X(T)统计无关，则：这就是E[W(T)]的差分方程。20令△W(T)=W(T)-W*代表T时刻系数矢量和维纳解之差：所以上式后两项之和为零.因此有：21设系数差矢量的初始值是△W(0)=W(0)-W*则解为：由于Rxx是正定对称的自相关阵，因此它可以化成规范形式：式中∧是由Rxx的特征根λk(k=1~p)组成的对角阵。V是由各特征矢量组成的正交归一阵：22因此有：由于[I-2μ∧]也是对角阵，主对角线上各元素是1-2μλk(k=1~p),因此只要这些元素的绝对值

8、1-2μλk

9、<1.就有：证明了在

10、所有λk都满足

11、1-2μλk

12、<1的条件下，E[W(T)]将收敛于维纳解W*。23正定阵的全部特征根均大于零。所以收敛条件是：收敛值是维纳解：注意:收敛与否与初始值W(0)无关。24收敛速度当然由:中各系数差分量△W(T+1)消逝的快慢决定.相邻两值之比是:rk绝对值愈小,自由分量衰减愈快.使收敛速度最快的最优步长为:2511.3应用实例11.3.1自适应噪声抵消如果在自适应处理的框图上,dT中含有希望提取的信号