最小二乘类辨识算法.ppt

《最小二乘类辨识算法.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1第４章最小二乘类参数辨识方法（一）24.0引言4.1最小二乘法的基本概念4.2最小二乘问题的提法4.3最小二乘问题的解4.4最小二乘估计的可辨识性4.5最小二乘估计的几何解析4.6最小二乘参数估计值的统计性质4.7噪声方差估计4.8最小二乘参数估计的递推算法m次独立试验的数据4.0引言1801年初，天文学家皮亚齐发现了谷神星。1801年末，天文爱好者奥博斯，在高斯预言的时间里，再次发现谷神星。1802年又成功地预测了智神星的轨道。高斯自己独创了一套行星轨道计算理论。高斯仅用1小时就算出了谷神星的轨道形状，并进行了预测1794年，高斯提出了最

2、小二乘的思想。1794年，高斯提出的最小二乘的基本原理是未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。6最小二乘类辨识算法的主要内容最小二乘辨识算法自适应辨识算法偏差补偿最小二乘法增广最小二乘算法广义最小二乘法辅助变量法相关二步法7如果仅仅关心所要辨识的过程输入输出特性可以将所过程视为“黑箱”而不考虑过程的内部机理8过程的“黑箱”结构u(k)和z(k)分别是过程的输入和输出-描述输入输出关系的模型，称为过程模型9通常可以表示成其中（4.0.1）（4.0.2）10{n(k)}为噪声可以表示成均值为零的平

3、稳随机系列式中（4.0.5）（4.0.4）（4.0.3）11各种方法所用的辨识模型结构略有不同最小二乘法（受控自回归CAR模型）增广最小二乘法(受控自回归滑动平均CARMA模型)广义最小二乘法(动态调节DA模型)（4.0.9）（4.0.8）（4.0.7）12经比较可以看出各种方法所用过程模型一样只是噪声模型有所不同根据不同的辨识原理，参数模型辨识方法可归纳成三类：①最小二乘类参数辨识方法，其基本思想是通过极小化如下准则函数来估计模型参数：其中代表模型输出与系统输出的偏差。典型的方法有最小二乘法、增广最小二乘法、辅助变量法、广义最小二乘法等。（

4、4.0.10）②梯度校正参数辨识方法，其基本思想是沿着准则函数负梯度方向逐步修正模型参数，使准则函数达到最小，如随机逼近法。③概率密度逼近参数辨识方法，其基本思想是使输出z的条件概率密度最大限度地逼近条件下的概率密度，即典型的方法是极大似然法。（4.0.11）154.1最小二乘法的基本概念最小二乘法1795年高斯在其著名的星体运动轨迹预报研究工作中提出的,后来成了估计理论的奠基石。最小二乘的基本结果有两种算法：①一次完成算法或批处理算法：利用一批观测数据，一次计算或经反复迭代，以获得模型参数的估计值。②递推算法：在上次模型参数估计值的基础上，

5、根据当前获得的数据提出修正，进而获得本次模型参数估计值，广泛采用的递推算法形式为其中表示k时刻的模型参数估计值，K(k)为算法的增益，h(k-d)是由观测数据组成的输入数据向量，d为整数，表示新息。（4.1.1）17假设过程的输入输出关系可以描述成以下最小二乘格式z(k)―过程的输出―参数h(k)―观测的数据向量n(k)―均值为零的随机噪声（4.1.2）18利用数据序列{z(k)}和{h(k)}极小化下列准则函数使J最小的的估计值，称为的最小二乘估计值。（4.1.3）●最小二乘原理表明，未知参数估计问题，就是求参数估计值，使序列的估计值尽可能

6、地接近实际序列，两者的接近程度用实际序列与序列估计值之差的平方和来度量。●最小二乘估计值应在观测值与估计值之累次误差的平方和达到最小值处，所得到的模型输出能最好地逼近实际系统的输出。20４.2最小二乘问题的提法设时不变SISO动态过程的数学模型为所要解决的最小二乘问题如何利用过程的输入、输出数据确定多项式和的系数（4.2.1）21在最小二乘问题中，一般对模型作以下假设首先，模型的阶次，已定且一般其次，将（4.1.4）模型写成最小二乘格式式中（4.2.2）（4.2.3）22对(4.1.5)式构成一个线性方程组可以写成（4.2.4）23（4.2.

7、5）24另外设模型的噪声n(k)特征为（4.2.6）25在最小二乘法中假定{n(k)}是白噪声序列-n(k)的方差最后，假设数据长度（4.2.8）（4.2.7）(4.2.4)式有L个方程，包括个未知数。如果，方程的个数少于未知数的个数，模型参数不是唯一确定。如果，则只有当时，才有唯一确定解。当时，只有取，才有可能确定一个最优的模型参数，而且为了保证辨识的精度，L必须充分大。27４.3最小二乘问题的解取准则函数-加权因子，对如K=1时，K=L时体现对不同时刻的数据给予不同程度的信任（4.3.1）28准则函数可写成二次型形式-加权矩，一般为正定的

8、对角矩阵（4.3.3）（4.3.2）29设使则有则得（4.3.4）（4.3.5）（4.3.6）30当可逆时（称为正则）时充分条件因所以,是唯一的（4.3.8）（4.