最小二乘法在线性和非线性回归中的应用(12.15)课件.ppt

《最小二乘法在线性和非线性回归中的应用(12.15)课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、最小二乘法在线性回归和非线性回归中的应用长沙理工大学-电气与信息工程学院电子科学与技术讲解：王可煜方云熠1什么是最小二乘法？最小二乘法是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小.2线性回归在统计学中，线性回归(LinearRegression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。回

2、归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。3非线性回归有一类模型，其回归参数不是线性的，也不能通过转换的方法将其变为线性的参数。这类模型称为非线性回归模型。在许多实际问题中，回归函数往往是较复杂的非线性函数。非线性函数的求解一般可分为将非线性变换成线性和不能变换成线性两大类。这里主要讨论可以变换为线性方程的非线性问题。45两变量间的关系确定性关系：两变量间的函数关系圆的周长与半径的关系：C=2πR速度时间与路程的

3、关系：L=ST非确定性关系：两变量在宏观上存在关系，但并未精确到可以用函数关系式来表达。青少年的升高与年龄关系升高与体重的关系药物浓度与反应率的关系67多元函数极值存在必要条件8多元线性回归第一步:先选定一组函数r1(x),r2(x),…rm(x),m

4、方程组：方程个数大于未知量个数的方程组即Ra=y其中超定方程一般是不存在解的矛盾方程组。如果有向量a使得达到最小，则称a为上述超定方程的最小二乘解。10线性最小二乘法的求解定理：当RTR可逆时，超定方程组（3）存在最小二乘解，且即为方程组RTRa=RTy的解：a=(RTR)-1RTy所以，曲线拟合的最小二乘法要解决的问题，实际上就是求以下超定方程组的最小二乘解的问题。其中Ra=y（3）11最小二乘法原理是用来求解线性方程组的，非线性方程经线性化后方可应用该原理。通常在测量中遇到的问题不一定都是线性问题，必须先把非线性问题线性化，然后求解。非线性回归12一、有时，我们希望用如

5、下类型的函数：去近似一个由一组观测数据（列表）所描绘的函数，其中p和q是待定的两个参数.显然s已非p和q的线性函数.怎样线性化呢？为此，我们在等式两端取对数，得到记则等式变成这是一个一次多项式，它的系数和可以用最小二乘法求得.13二、我们经常希望用函数去近似一个以给定的列表函数，其中A,C是待定的参数，这时，我们可以对等式的两端取对数记则等式变成这样仍可用最小二乘法定出（从而也就定出了A,C），得到近似函数14下面列出几种常用的线性处理方法，利用最小二乘法的原理对直线型、抛物线型和指数曲线型的方程的参数估计方法。15直线型直线方程的一般形式为：令为最小值，分别为a和b求偏导

6、数，并令导数等于0，得到联立方程组。解方程组，即可得到参数的计算公式。16抛物线型抛物线方程的一般形式为令为最小值，分别为a、b、c求偏导数,并令导数等于0,得到联立方程组解方程组,即可得到参数的计算公式。17指数曲线型指数曲线的一般形式为取对数，将指数曲线转化成对数直线形式用最小二乘法估计参数a,b,可有如下方程组解此方程组，可得参数的对数值，查其反对数，即可得参数值。18用MATLAB解回归问题1、线性最小二乘拟合2、非线性最小二乘拟合19用MATLAB作线性最小二乘拟合1.作多项式f(x)=a1xm+…+amx+am+1拟合,可利用已有程序:a=polyfit(x,y

7、,m)2.对超定方程组可得最小二乘意义下的解。，用3.多项式在x处的值y可用以下命令计算：y=polyval（a，x）输入同长度的数组X，Y拟合多项式次数左除20首先求二次多项式拟合:中的使得:例对湖南省近10年来（2006-2015）的生产总值（GDP）作m次多项式拟合21利用MATLAB编程并仿真（二次拟合）clearall;closeall;x=2006:1:2015;y=[7689,9440,11555,13060,16038,19670,22154,24622,27037,29047.2];%plot,x