吴及《数据与算法课程讲义》清华大学：4基本数值算法4-拟合与插值

《吴及《数据与算法课程讲义》清华大学：4基本数值算法4-拟合与插值》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2015-2016秋季学期数据与算法课程讲义基础数值算法吴及wuji_ee@tsinghua.edu.cn清华大学电子工程系2015年11月内容提要拟合(Datafitting)插值(Interpolation)数据与算法吴及2(20230253)电子工程系内容提要拟合(Datafitting)超定方程和最小二乘正规方程方法QR分解插值(Interpolation)数据与算法吴及3(20230253)电子工程系超定与欠定方程对于线性方程组??=?，对于?×?维系数矩阵?，我们已经讨论?=?时的求解问题如果?>?：方程的数目多于未知数的数目，称

2、为超定方程如果?

3、以写为??≅?，一般来说，数据点的数量?要大于参数矢量?的维度，因此这就是一个超定问题数据与算法吴及5(20230253)电子工程系拟合问题例如有5个数据点?1,?1，?2,?2，?3,?3，?4,?4，?5,?5待拟合的二次多项式为：??,?=?+??+??2123拟合问题为：1??211?11??222?1?2??=1??2?2≅?=?3331??2?3?4442?51?5?5这是一个超定方程数据与算法吴及6(20230253)电子工程系拟合问题举例：待拟合数据点为：x-1.0-0.50.00.51.0y1.00.50.00.52.0由待拟合二

4、次多项式：??,?=?+??+??2，得到超定方程1231−1.01.01.01−0.50.25?10.5??=10.00.0?2≅0.0=?10.50.25?30.511.01.02.0可以求解得到拟合结果：??=0.086+0.400?+1.429?2数据与算法吴及7(20230253)电子工程系拟合问题数据点和拟合结果数据与算法吴及8(20230253)电子工程系解的存在性和唯一性线性最小二乘问题??≅?一定有解如果系数矩阵?的各列是线性独立的，?????=?，则解是唯一的如果系数矩阵?缺秩，?????

5、方?2=???=?−????−??=???−2?????+??????2为求上式的最小值，对?求导并令导数为0：2????−2???=0得到方程：????=???数据与算法吴及9(20230253)电子工程系解的存在性和唯一性????=???被称为正规方程?：?×?，??：?×????：?×???：?×?，?：?×1???：?×1这是一个系数矩阵为方阵的恰定方程用最小二乘方法求解超定方程??≅?的问题转化成为求解正规方程????=???的问题数据与算法吴及10(20230253)电子工程系几何解释超定方程??≅?，?：?×?，?：?×1?

6、????=??：?∈ℝ?，称为?的列矢量张成的?维空间由于?>?，所以?维矢量??????，因此超定方程没有精确解设误差最小的解为?∈??????应该是?在?????上的投影则有残差?⟘?????所以：???−??=0同样得到正规方程????=???数据与算法吴及11(20230253)电子工程系正规方程方法超定方程??≅?正规方程????=???系数矩阵???是一个?维正定矩阵可以采用Cholesky分解仍然用前面的例子演示求解过程1−1.01.01.01−0.50.25?10.5??=10.00.0?2≅0.0=?10.50.25?3

7、0.511.01.02.0数据与算法吴及12(20230253)电子工程系正规方程方法1−1.01.0111111−0.50.255.00.02.5???==−1.0−0.50.00.51.010.00.00.02.50.01.00.250.00.251.010.50.252.50.02.12511.01.01.0111110.54.0???==−1.0−0.50.00.51.00.01.01.00.250.00.251.00.53.252.0对正规方程的系数矩阵???进行Cholesky分解5.00.02.52.2360.00.02.2360.01.118?

8、??==0