辩识最小二乘法ppt课件.ppt

《辩识最小二乘法ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、最小二乘法(LeastSquares,LS)是一种经典有效的数据处理方法。它是1795年高斯在预测行星和彗星运动的轨道时提出并实际使用的。在系统辩识和参数估计领域中，最小二乘法是一种最基本的估计方法。它可用于动态系统，也可用于静态系统；可用于线性系统，也可以用于非线性系统；可用于离线估计，也可以用于在线估计。在随机的环境下利用最小二乘法时，并不要求知道观测数据的概率统计信息，而用这种方法所得到的估计结果，却有相当好的统计性质。第五章　辩识的最小二乘法1这时的问题是已知系统的输入和输出　　　　　，求参数ai和bi的估计值

2、。模型可以改写为：5.1最小二乘估计设时不变SISO动态系统的数学模型为：其中：2将上述模型改写为以下最小二乘格式：令K=n+1…n+N，共N次观测。记34可见，残差　　包括两个误差因素。一是参数估计误差带来的拟合误差；二是随机噪声带来的误差。对于上述模型的辩识问题，其中　　　　都是可以观测的数据，　是待估计的参数。引入最小二乘准则:其中　　称为残差或方程误差，是参数估计值。进一步可以得到：5若　　非奇异，可以得到：来确定估计值　。求J对　的偏导数并令其等于0，可得：可以看出，指数函数　　　　　　即残差的平方和。最小二

3、乘估计是在残差二乘准则函数极小意义下的最优估计，即按照准则函数：称　为最小二乘估计值，对应方法称为最小二乘法．6其中st表示钢产量，t表示年代。试用最小二乘问题的一次完成算法确定参数。并以此来预测该企业1950年的钢产量。若钢产量用如下模型描述：例:已知某企业1946年-1949年钢产量如表年份1946194719481949产量10.012.213.516.17在推导最小二乘法的结果时，并没有考虑噪声e(k)的统计特性。但在评价最小二乘估计的性质时，则必须假设噪声e(k)是不相关的，而且是同分布的随机变量，也即假设{

4、e(k)}是白噪声序列，即8其中w(k)称为加权因子，对所有的k，w(k)都必须是正数。引进加权因子是为了考虑观测数据的可信度。如果有理由认为现时刻的数据比过去时刻的数据可靠，那么现时刻的加权值就要大于过去时刻的加权值。比如，可选当　，当　　　　　，这就体现了对不同时刻的数据给予了不同程度的信任。一般来说，w(k)的选择多少取决于人的主观因素，并无规律可循。如果准则函数取为加权函数，即为9通过极小化　　　　计算的方法称为加权最小二乘法，对应的　称为加权最小二乘估计值。加权最小二乘估计的解为：其中W是一对称正定阵．若取W

5、=I,则　　　　。所以，最小二乘法是加权最小二乘法的一种特例。当获得一批数据之后，利用最小二乘法或者加权最小二乘法可一次求得相应的参数估计值，这样处理的方法称为一次完成算法或者批处理算法。这在理论研究方面有很多方便之处，但在计算方面要碰到矩阵求逆的困难。但当维数增加时，矩阵求逆的运算量将急剧增加，会给计算速度和存储带来负担。10可以用高斯消去法进行求解方程式，以便更快地求得参数的估计值。但是，更实用的方法还是设法化为递推计算的形式，以便在线辩识，大大减少数据的存储。高斯“未知量的最适合值(最可能值)是使各项实际观测值和

6、计算值之间差的平方乘以度量其精确度的数值以后的和为最小”。11(3)如果出现　列相关，即不满秩的情况，　　为病态矩阵，则不能得到最小二乘估计值。(2)每增加一次观测量，必须重新计算一次上一节给出了最小二乘一次完成算法，但具体使用时不仅占用内存量较大，而且不能用于在线辩识。进一步，一次完成算法还有如下缺陷：5.3最小二乘递推算法(RLS)(1)数据量越多，系统参数估计的精度就越高。为了获得满意的辩识结果，矩阵　　的阶数常常取得非常大。这样，矩阵求逆的计算量很大，存储量也很大。12系统用线性差分方程来描述：解决这个问题的办

7、法是把它化成递推算法。依观测次序的递推算法就是每获得一次新的观测数据就修正一次参数的估计值，随着时间的推移，便能够获得满意的辩识结果。递推辩识算法具有无矩阵求逆，以及跟踪时变系统等特点，这样不仅可以减少计算量和存储量，而且能实现在线辩识。13上式的最小二乘解为：令：可得：14如果再增加一组新的观测值u(n+N+1),y(n+N+1)，记作uN+1,yN+1，则又增加一个方程：消除矩阵求逆过程，用PN来表示PN+1。1516令　　　　　　　　　　　　　　　　，则得到：矩阵求逆引理：设A为n×n矩阵，B为n×m矩阵，C为m

8、×n矩阵，并且A，A+BC和I+CA-1B都是非奇异阵，则有恒等式：17式中　　　　　为增益矩阵，记为GN+1，而为预报误差。18递推过程如下：综上所述，得到最小二乘估计递推算法如下：19方法1:m组数据，用LS一次算法，得到　　　，再从m+1开始递推．对于初值　　的选取：方法2:，任取另外，可以用下式作为递推算法的停机准则：式中