《速下降法》PPT课件

《《速下降法》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二讲最速下降算法Y.J.Pang最速下降法（methodofsteepestdescent）是一种基于梯度的自适应方法。最速下降法可用反馈系统来表示，滤波器的计算式一步一步迭代进行的。从该意义上讲，最速下降法是递归的。在适当条件下，最速下降法的解收敛于维纳解而不需要求输入向量相关矩阵的逆矩阵。2自适应信号处理线性最优滤波：问题综述3自适应信号处理这里滤波器需要两个约束条件：1.滤波器是线性的2.滤波器是离散时间的滤波器的具体实现依赖的两个选择：1.滤波器的冲激响应选择（FIR,IIR)2.统计优化准则的选择问题1）估计误差的均方值2）估计误差的绝对值期望值3）估计误差的绝对值的三阶或高阶

2、期望值4自适应信号处理滤波器问题的本质表示如下：给定一个输入取样序列u(0),u(1),u(2),…,设计一个线性离散滤波器[其输出y(n)提供了期望响应d(n)的一个估值]，使得其估计误差的均方值e(n)[定义为期望响应d(n)与实际响应y(n)之差]为最小。两种数学解决方案1正交性原理2误差性能曲面5自适应信号处理正交性原理n时刻滤波器输出为线性卷积误差代价函数—均方误差6自适应信号处理使代价函数J获得最小值的充要条件是其对应的估计误差e(n)于n时刻进入期望响应估计的每个输入样值。7自适应信号处理8自适应信号处理2.1最速下降法的基本思想无约束最优化的数学表示如下：其中是一个代价函数

3、，是个未知向量是要寻找的最优解。9自适应信号处理局部迭代下降思想首先假设一个初始权向量，然后产生一系列权向量能够使代价函数在算法的每次迭代都是下降的，也就是满足如下表达式最速下降法其实就是一种简单形式的迭代下降，它主要思想是沿着最速下降方向连续不断调整权向量。最速下降方向也就是负梯度方向梯度向量表示如下10自适应信号处理通过以上可得最速下降算法其中n表示迭代进程，是步长参数，是正常数。在从n到n+1的迭代过程中，权向量的调整量为11自适应信号处理证明其满足迭代下降的思想首先列出一阶泰勒展开式趋近于无穷小将代价函数在处进行一阶泰勒展开，可得12自适应信号处理假设w为复值向量，那么梯度向量g也

4、是复值向量。所以使用共轭转置（埃尔米特转置）因此上式可变为从上式可以看出当为正数时，因此，随着n的增加，代价函数减小，当时，代价函数趋于最小值。13自适应信号处理2.2最速下降算法应用于维纳滤波器图2.1自适应横向滤波器的结构14自适应信号处理通过比较期望响应及其估计值，可以得到一个估计误差即其中是抽头权向量与抽头输入向量的内积如果抽头输入向量u(n)和期望响应d(n)是联合平稳的，则此时均方误差或者在n时刻的代价函数J(n)是抽头全向量的二次函数。15自适应信号处理横向滤波器的代价函数为所以展开可得其中，是目标函数的方差P=抽头输入向量与期望响应的互相关向量R=抽头输入向量的相关矩阵16

5、自适应信号处理同时梯度向量可写为17自适应信号处理因此维纳滤波中最速下降法的数学表达式为:从另一个角度，可以将上公式看做一个反馈模型，信号流图如下图2.2最速下降算法的信号流图表示18自适应信号处理2.3最速下降法的稳定性影响该算法的稳定性有两个因素：（1）步长参数（2）抽头输入向量的相关矩阵R首先定义n时刻的加权误差向量其中是抽头权向量的最优值19自适应信号处理使用特征值分解可得将R代入上公式可得两边同时左乘令v(n)的初始值为：20自适应信号处理对于最速下降法的第k个自然模式，并初始化可以得到为了满足最速下降法的稳定性或收敛性，对于所有k，我们可以有因此最速下降法稳定性的充分必要条件是

6、步长因子满足不等式21自适应信号处理从图中可以看出，当迭代次数趋近于无穷时，趋近于0也就是抽头加权向量逼近最优解图2.3最速下降算法的第k个自然模式随时间变化的情况22自适应信号处理由上图我们可以定义一个时间常数使得表示了衰减到初始值的时所需要的迭代次数初始抽头加权向量的瞬态特性两边同时左乘23自适应信号处理因此第i个抽头权值的瞬态特性可以表示为其中是第i个抽头权值的最优值，是第k个特征向量的第i个分量上式表明，最速下降算法中每一个抽头权值收敛于指数形式的加权和。同时定义整个时间常数则可得任意抽头权值的时间常数的上下界定义如下24自适应信号处理均方误差的瞬态特性可知误差性能曲面的规范形式其

7、中是最小均方误差从初始值到最终值的指数衰减的时间常数为当较小时25自适应信号处理2.4作为确定性搜索法的最速下降算法最速下降算法提供了从任意初始点出发寻找误差性能曲面极小点的局部搜索方法。最速下降算法的运行，取决于三个量：*起始点：由抽头权向量初始值w(0)规定*梯度向量：位于误差性能曲面的特殊点，由互相关向量P和相关向量矩阵R唯一确定*步长参数：控制横向滤波器抽头权向量从算法的某一次迭代到下一次迭代的增量变化一旦规定了