最小二乘参数估计.doc

《最小二乘参数估计.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、最小二乘参数估计1系统辨识的概念12最小二乘参数估计法12.1最小二乘估计的统计特性22.2加权最小二乘22.3递推最小二乘估计32.4相关最小二乘法31系统辨识的概念系统辨识是研究建立被控对象或过程数学模型的一种理论和方法。它是在输入和输出数据的基础上，从一组给定的模型类别中，确定一个与所研究系统等价的数学模型。数学模型是指用数学形式来描述实际对象或过程行为特性和运动规律，微分方程、差分方程、传递函数和状态方程式常用的数学形式。建立数学模型的主要方法有机理法和测试法。而机理法的应用是十分有限的，实践中大量采用的还是测试法。系统辨识就是一种测试法。2最小二

2、乘参数估计法最小二乘估计是一种经典的数据处理方法，最早的应用可以追溯到18世纪，大约在1795年由高斯在他著名的星体运动轨道预报研究工作中提出的。高斯提出：对于未知的但要求估计的参数的最适宜的值是最可能的值。他定义：“未知量最可能的值是这样一个数值，它使得实测值与计算值的差的平方乘以测量测量精度后所得的积最小。”后来，在控制系统的参数估计领域也发现个采用了这种方法，这样，最小二乘法就成了估计离乱的奠基石。由于最小二乘法原理简单，编制程序也不困难，因而颇受人们重视，应用相当广泛。目前它已成为动态系统辨识的主要手段。从计算方法讲，它既可以离线计算，也可以在线递

3、推计算，并可在非线性系统中扩展为迭代计算。从计算的数学模型看，它既可以用于参数模型估计可以用于非参数模型估计。最小二乘估计开始用于处理整批数据的静态参数估计，这里称为一般的最小二乘估计，它能提供一个在最小方差意义下与实验数据最好拟合的数学模型。由最小二乘发获得的估计在一定条件下有最佳的统计特性，即估计的结果是无偏的、一致的和有效的，而经典辨识法中的相关辨识法、频率辨识法等也可以从最小二乘推导演绎而成。2.1最小二乘估计的统计特性对于一个估计算法除了计算简单和便于应用等要求外，更重要的是所得出的估计值能不能再某种意义下满足估计的精度要求，即满足估计值的优良性

4、。一般来说，一种估计值的统计特性是可以用来衡量它的“优良度”和“可信度”的。通过研究它的统计特性，可以帮助确认该方法的使用价值。最小二乘估计具有以下特性：无偏性、一致性、有效性等。2.2加权最小二乘通常，各次观测数据是在不同情况下取得的，因而对估计的作用也不相同，当利用这些数据来估计参数是，总是希望“价值大”的观测数据占比较大的比重，使其对估计的结果产生较多的影响。为此，计算中用一个称为权的数来反映数据价值的大小，即对各次数据加不同的权，若果有理由认为现时刻的数据可靠，那么现时刻的加权值就要大于过去时刻的加权值。在目标函数中引入正定加权矩阵：则有目标函数：

5、可以解出：该方法称作最小二乘法，对应的称为加权最小二乘估计值，当为单位矩阵的时候，加权最小二乘就成为最小二乘估计，所以最小二乘法是加权最小二乘的一种特例。当过程噪声是均值为为0、方差为的白噪声序列时，加权最小二乘具有无偏性、有效性和一致性等良好的统计特性。2.3递推最小二乘估计在生产过程中，系统的输入、输出往往是逐步得到的，调节器参数的设计要求在线参数估计，利用新的信息来改善精度。一次完成算法是直接利用已获得的所有观测数据进行运算处理。使用这种算法时，需要计算机存储全部测量数据，占用了较多的存储单元，同时，每采样一次，就需要增添一组新的观测数据，也逐步扩大

6、矩阵的行数，还需要完成矩阵的求逆运算，这样计算是很费时的。在已知N组数据后，有，可以构成，，从而可以求出，当又获得一组新的测量数据，后，同样可以计构成，，并计算出，通过分析第N次和第N+1次估计间的关系，可以把最小二乘法化成递推算法。递推算法的基本思路可以概括为：这种方法的特点是每取得一次新的观测数据后，在原来估计结果的基础上，用新引入的观测数据对上一次估计的结果进行修正，从而递推地得到下一个参数估计值。这样，随着的新的观测数据的引入，逐步地进行参数估计，直到估计值达到满意的精度为止。这样不仅可以减少计算量和存储量，而且能够实现在线实时辨识。2.4相关最小

7、二乘法相关最小二乘法的基本思想是把辨识分成两部进行。第一步利用相关分析法，获得对象的非参数模型—脉冲响应或相关函数；第二步是利用最小二乘法、辅助变量法或增光最小二乘法等，进一步求得对象的参数模型。