最小二乘法及其应用.ppt

《最小二乘法及其应用.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章最小二乘法及其应用最小二乘法是求解最优化问题的一种有效而方便的方法。信号处理中有许多问题可归结为最优化问题，因此最小二乘法是信号处理的重要工具之一。希尔伯特空间中线性逼近问题的求解方法称为最小二乘法。通常它有三种不同的表现形式：投影法、求导法和配方法。下面来分别说明。3-1最小二乘法的三种形式设X为希尔伯特空间，为X中一组归一化正交元素，x为X中的某一元素。在子空间中求一元素m。使得（3-1-1）由于M中元素可表为的线性组合，问题转化成为求，使得（3-1-2）第二章中的投影定理指出了最优系数应满足（3-1-3

2、）由此即得。也就是说，当且仅当取为x关于归一化正交系的傅立叶系数时，式(3-1-2)成立。（3-1-4）这种求解方法称为投影法，它是最小二乘法的第一种表现形式。第二种方法是求导法，仍以上面的问题为例来说明。记泛函为了能用求导法求此泛函的极小值，将它表为其中。于是最优的应满足即下面再用第三种方法即配方法来求解：（3-1-5）以上三种方法都称为最小二乘法。在实际应用中，他们各有各的优势和缺陷，我们并不能通过简单的比较来说明他们谁优谁劣，因为衡量一种方法好坏的标准是多方面的。因此，在不同的场合根据不同的需要和可能，灵活选

3、择和使用合适的方法，是掌握最小二乘法的关键。利用令导数等于零来求函数的极值是一种方便的方法。但是对于多元函数，有时由于变元太多而使表达式相当繁复，为此，本节介绍用向量-矩阵的形式来简化求导过程。下面举例个例子来具体说明。例3-2-1求矛盾方程组Ax=b的最小二乘解（可参阅第二章的相关例题）3-2向量-矩阵求导及配方法解：求Ax=b的最小二乘解就是求的极小点。由于下面先给出两个需要用到的向量求导公式：（3-2-1）（3-2-2）当A不时对称阵时，式（3-2-10）应该为（3-2-3）利用式（3-2-1）和（3-2-2

4、）可以立即得到（3-2-4）这就是书中例2-4-1中所得到的法方程若使用配方法，则有：可以看出，本例中介绍的两个向量求导公式中，提到了对于向量x求导的梯度算符,我们还可以引入对矩阵求导的梯度算符：（3-2-5）需要说明的是，算符只有作用在关于的标量函数上才有意义。例如对于二次型由于，故（3-2-6）（3-2-7）在课本中，给出了一些常用的向量-矩阵求导公式，在实际应用中可供大家查阅。设有如图3-3-1所示的系统T。当输入n个数据时，输出为y，且有下列线性关系：3-3应用举例3-3-1系统辨识（3-3-1）其中为未知

5、，需要通过对输入输出的观测值来确定这组参数。现设进行了m次观测，观测值为和图3-3-1多输入单输出系统则问题成为求使之满足（3-3-2）若记及则方程（3-3-2）成为（3-3-3）当方程（3-3-3）无解时，问题就转化为求矛盾方程组的最小二乘解。可以得到（3-3-4）进而考察多输入多输出的情形。关系式为其中（3-3-6）（3-3-5）现设输入和输出的第k次观测值分别是则系统的辨识问题就是求A使之满足（3-3-8）（3-3-7）其中Y为矩阵，X为矩阵。当上述方程无解时，问题就转化成为求A使下列非负定矩阵达到极小：（3

6、-3-9）问题（3-3-9）可以用配方法来求解：（3-3-10）其中假定可逆。这个问题不能用求导法来求解，因为目标函数J（A）不是标量而是矩阵。要用求导法来求解该问题，需要引入矩阵范数的概念。矩阵的范数定义为（3-3-11）事实上，可以把式（3-3-11）理解成向量的范数。这样，我们可以把多输入多输出线性系统的辨识问题叙述为求矩阵A，使得（3-3-12）式（3-3-12）的形式与（3-3-9）类似，但应注意在此处是标量函数。她可以完全类似于式（3-3-10）那样来配方而求解，也可体用求导法来求解。由于（3-3-13

7、）利用课本中表3-2-2中的公式5和7，得到（3-3-14）数据压缩是指在传输或存储信号时对信号数据量进行压缩。实际中的信号往往都是维数很高的随机数据向量。各种数据间的相关性也很大，简单的随意压缩会导致数据严重失真。按照最优化原则设计的数据压缩技术可以解决通讯和数据传输系统的信道容量不足和计算机存储容量不足的问题，因而是一种从容量方面提高系统使用效率的重要技术。3-3-2数据压缩下面向大家介绍一种有效的数据压缩方法。其思想是对信号作正交变换，根据失真最小的原则在变幻域进行压缩。其框图如下所示。设为n维随机变量，n的

8、值很大。经过正交T变换后，得到变幻域的n维向量（3-3-15）其中变幻矩阵T的列向量为满足（3-3-16）（3-3-17）现在对数据进行压缩，即保留y的m个分量其余的n-m个分量用预先选定的常数代，替，得到一个新的向量，再由通过逆变换得到x的估计我们的问题是：如何选取变幻矩阵T和常数，y的那些分量被压缩掉，才能使最接近x，即均方误差最小：（3-3-18）下面