第06讲 SA法.ppt

《第06讲 SA法.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第六讲SA法(1/3)第六讲随机逼近法（StochasticApproximation,SA）前面讨论的辨识算法均属于LS类的估计算法,其优点是收敛速度快,精度高等,但其计算量大且占用计算机系统的内存较多等严重影响了其在实时辨识和在自适应系统中的运用.上述的这些方法的递推算法具有如下共同的结构新的参数估计值=老的参数估计值+增益矩阵×新息(1)第六讲SA法(2/3)该递推辨识算法结构体现了递推辨识的思想和算法结构,是一切递推辨识算法所具有的共同的结构.本讲讨论的随机逼近(StochasticApproximation,SA)法同样具有式(

2、1)所示的结构.但其基本原理却完全不同于LS类方法,而来源于随机方程数值解理论中的SA原理.第六讲SA法(3/3)SA法的基本思想是沿着准则函数的负梯度方向,用最优化方法逐步修正模型参数估计值而得到模型参数的递推估计值.其算法思想类似于数值优化方法中的最速下降法,其收敛速度亦类似于最速下降法,属1阶收敛(线性收敛).而前面介绍的递推LS法其算法思想和收敛速度则类似于数值优化中的牛顿法,收敛速度属2阶收敛(平方收敛).本讲讲授内容为:随机逼近原理SA参数估计法SA算法仿真程序与算例1SA原理(1/5)1随机逼近原理考虑如下回归模型的辨识问题

3、y(k)=(k-1)+w(k),(2)式中y(k)为过程输出;(k-1)为观测数据向量;为回归参数向量;w(k)为均值为零的噪声.1SA原理(2/5)该准则函数的一阶梯度为J/=-E{(k-1)[y(k)-(k-1)]}(4)根据最优化原理,欲求准则函数(3)的极小值,则令其梯度为零,即E{(k-1)[y(k)-(k-1)]}=0(5)显然,这种模型的参数估计问题可以通过极小化扰动w(k)的方差来实现,即求参数θ的估计值使下列准则函数达到极小值1SA原理(3/5)原则上说,由(5)式可以求得使J(θ)极小的

4、参数估计值θ.但是,因为大部分实际系统w(k)的统计性质不能预先知道,因此方程(5)实际上是无法求解的.解决该问题的方法则之一,是用式(5)左边的的数学期望用平均值来近似,即将(5)式近似写成则有显然,这种近似使得该问题退化成LS问题,(7)式也就是前面讨论的LS解.1SA原理(4/5)下面,讨论式(5)的另一种解,即SA解.在介绍SA解之前,下面先介绍随机方程求解的SA原理.设x是自变量标量,y是随机因变量,p(y/x)是在x条件下的y的概率密度函数,则随机变量y关于x的条件数学期望为定义h(x)=E{y/x}它是x的函数,称作回归函数

5、.1SA原理(5/5)SA原理所讨论的是:对于给定的α,若对未知的h(x)函数和条件概率密度函数p(y/x),方程h(x)=E{y/x}=a(9)具有唯一解.那么,在已知变量x1,x2,...及其相对应的随机变量y(x1),y(x2),...,则可通过递推计算,逐步逼近并求得方程(9)的数值解.下面,将讨论方程(9)的求解方法—Robbins-Monro算法及其在随机函数优化应用—Kiefer-Wolfowitz算法.1SA原理--Robbins-Monro算法(1/3)一、Robbins-Monro算法求解上述随机方程的常用的SA法有R

6、obbins-Monro算法,其基本递推算法结构为x(k+1)=x(k)+(k)[a-y(x(k))](10)其中y(x(k))为对应于x(k)的y值;(k)称为收敛因子.h(x)=E{y/x}=a1SA原理--Robbins-Monro算法(2/3)则x(k)在均方意义下收敛于方程(9)的解.满足上述条件的最简单的有(k)=1/k和(k)=b/(k+a),其中a,b均大于0.可以证明,若收敛因子(k)满足下列条件1SA原理--Robbins-Monro算法(3/3)则递推解x(k)满足：另外：当满足以下条件时其中x0为该随机方

7、程h(x)=E{y/x}=a的真实解：1SA原理--Kiefer-Wolfowitz算法(1/3)二、Kiefer-Wolfowitz算法上述Robbins-Monro算法是求解随机方程(9)的根.后来,Kiefer和Wolfowitz将它应用到求解回归函数h(x)的极值,提出求解随机函数数值优化的Kiefer-Wolfowitz算法.Kiefer-Wolfowitz算法的思想为:如果h(x)存在极值,那么在极值处的x应使dh(x)/dx=0.根据Robbins-Monro算法,Kiefer和Wolfowitz给出了如下求回归函数h(x)

8、的极值的迭代算法x(k+1)=x(k)-(k)dy/dx

9、x(k)(12)h(x)=E{y/x}=ax(k+1)=x(k)+(k)[a-y(x(k))]则上述算法是均方收敛的,即x(k)的