各类最小二乘法比较

《各类最小二乘法比较》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、最小二乘法（LS）最小二乘是一种最基本的辨识方法，最小二乘法可以用于线性系统，也可以用于非线性系统；可用于离线估计和在线估计。在随机情况下，利用最小二乘法时，并不要求观测数据提供其概率统计方法的信息，而其估计结果，却有相当好的统计特性。但它具有两方面的缺陷：一是当模型噪声是有色噪声时，最小二乘估计不是无偏、一致估计；二是随着数据的增长，将出现所谓的“数据饱和”现象。针对这两个问题，出现了相应的辨识算法，如遗忘因子法、限定记忆法、偏差补偿法、增广最小二乘、广义最小二乘、辅助变量法、二步法及多级最小二乘法等。广义最小二乘法（GLS）

2、广义最小二乘法的基本思想在于引入一个所谓成形滤波器（白化滤波器），把相关噪声转化成白噪声。优：能够克服当存在有色噪声干扰时，基本最小二乘估计的有偏性，估计效果较好，在实际中得到较好的应用。缺：1、计算量大，每个循环要调用两次最小二乘法及一次数据滤波，2、求差分方程的参数估值，是一个非线性最优化问题，不一定总能保证算法对最优解的收敛性。广义最小二乘法本质上是一种逐次逼近法。对于循环程序的收敛性还没有给出证明。3、GLS算法的最小二乘指标函数J中可能存在一个以上局部极小值，（特别在信噪比不大时，J可能是多举的）。GLS方法的估计结果

3、往往取决于所选用参数的初始估值。参数估计初值应选得尽量接近优参数。在没有验前信息的情况下，最小二乘估值被认为是最好的初始条件。4、广义最小二乘法的收敛速度不是很高。递推最小二乘法（RLS）优点：1、无需存储全部数据，取得一组观测数据便可估计一次参数，而且都能在一个采样周期中完成，所需计算量小，占用的存储空间小。2、具有一定的实时处理能力辅助变量法（IV、RIV）计算较简单，估计是无偏估计，但计算精度较低辅助变量法、增广矩阵法能保证精度和收敛，算法简单，可同时得到参数和噪声模型的估计，工程应用效果很好但计算量也较大。RIV总收敛于

4、参数真值。加权最小二乘法可对不同置信度的测量值采用加权的办法分别对待，置信度加权高的，权重取得大些；置信度低的，权重取的小些。但加权最小二乘法仅能用于事先能估计方程误差对参数估计的影响。快速多阶段最小二乘法大大减少计算时间。快速多阶段最小二乘法大大减少计算时间。证明矩阵求逆引理矩阵求逆引理的证明：①矩阵求逆引理：②证明：考虑到由展开上式可得：（2a）(2b)(3a)(3b)和非奇异，由（3a）和（2b）联立可得：（4a）(4b)将式4a、4b分别代入（2a）、（3b），得到（5a）(5b)将（5b）代入（4b）,得将展开，得上式

5、即为：将（6）式代入上式，有终上，得证。