资源描述：
《非线性回归分析江南大学张荷观》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第三章非线性回归分析讨论直接对非线性回归模型的回归分析方法,即非线性回归模型的参数估计、假设检验和预测方法。第一节非线性回归模型一、简非线性模型简介非线性回归模型在经济学研究中有着广泛的应用。有一些非线性回归模型可以通过直接代换或间接代换转化为线性回归模型,但也有一些非线性回归模型却无法通过代换转化为线性回归模型。消费函数模型其中x是居民收入,y是居民消费。(3-1)式为一元非线性回归模型(当已知时成为一元线性回归模型),并且无法通过代换转化为线性回归模型。(3-1)设消费函数模型生产函数模型柯布—道格拉斯生产函数模型其中L和K分别是劳力投入和资金投入,y是产出。由于误差项是可加的,从而也不
2、能通过代换转化为线性回归模型。对于联立方程模型,只要其中有一个方程是不能通过代换转化为线性,那么这个联立方程模型就是非线性的。(3-2)二、非线性模型的建立和假设单方程非线性回归模型的一般形式为其中是模型的k个解释变量,是模型的p个未知参数,f是一个非线性函数,是模型的误差项。关于误差项的假设,也是满足独立、等方差、不相关和零均值,也可以进一步假设误差项服从正态分布。(3-3)第二节非线性回归模型的参数估计一、非线性计量经济分析的基本思路建立非线性计量经济模型的基本思路与建立线性计量经济模型是相似的,也是根据经济理论或实际数据建立初步模型,然后估计模型中的未知参数,通过对模型的检验,最后确定
3、模型。非线性计量经济分析仍以回归分析为核心,也称为非线性回归分析。最小二乘估计非线性回归分析的参数估计有两种基本方法:最大似然估计和最小二乘估计,这里介绍最小二乘估计。若把最小二乘估计记为,那么应使残差平方和达到最小,即(3-4)由于回归函数f是的非线性函数,一般无法对正规方程组通过解析的方法求解,而必须用某种搜索法或迭代算法获得参数的最小二乘估计。二、搜索法1.直接搜索法直接搜索法是把参数的所有可能取值都代入S,使S达到最小的取值即为参数的估计值。直接搜索法原理简单,但只适用参数个数少,且参数的可能取值也少(或对参数估计的精度要求不高)的情况。2.格点搜索法格点搜索法的效率高于直接搜索法。
4、格点搜索法不是是把参数的所有可能取值都代入S,而是按一定规律把部分取值代入S。例1设只有一个参数,的可能取值为区间。先把区间10等分,然后分别把代入S,设使S最小,再把新区间10等分,重复上述方法,使参数的可能取值范围不断减小,直到满足精度要求或收敛标准,即得参数的最小二乘估计。上述算法表明,当S存在唯一最小值时,格点搜索法才是有效的。例2设有二个参数,的可能取值为图3–1的矩形。先把矩形等分为10行10列,然后分别把所有的可能取值代入S,设使S最小。再以相邻的4个小矩形作为参数新的可能取值范围,重上述方法,使参数的可能取值范围不断减小,直到满足要求,即得参数的最小二乘估计。直接搜索法和格点
5、搜索法都是低效的,在实际工作中很少采用。三、高斯–牛顿(Gauss-Newton)法高斯–牛顿法是一种常用的迭代法。非线性回归模型不能通过变换转化为线性回归模型,但可以利用泰勒展开式转化为线性回归模型。设非线性回归模型记,高斯–牛顿法的具体方法如下。(1)先取参数的一组初值,根据泰勒级数并只取线性项,得其中为和泰勒展开式的高阶项之和。整理得(3-6)最小二乘估计令对给定的初始值,和都是确定的。则得线性回归模型(3-7)从而,由上式可求得的最小二乘估计。(2)把作为新的初始值,再次利用泰勒展开式,可得到一组新的估计。重复上述方法,直到参数估计值收敛或满足要求的精度,最后所得的估计就是参数的估计
6、值。高斯–牛顿法的另一种思路根据最小二乘估计的定义,最小二乘估计应使残差平方和达到最小。求解正规方程组的困难在于f不是的线性函数,从而可对f采用一阶泰勒展开式近似。这与直接对f采用一阶泰勒展开式近似是相同的。四、牛顿–拉夫森(Newton–Raphson)法牛顿–拉夫森法可以看作是高斯–牛顿法的改进。牛顿–拉夫森法不是作非线性函数f的线性近似,而是直接对残差平方和S取最小的一阶条件作一阶泰勒展开式近似。一个参数时的牛顿–拉夫森法设只有一个参数的非线性回归模型,是的估计值。残差平方和取最小的一阶条件取初始值,对采用一阶泰勒展开近似(3-9)由于,从而整理得(3-11)则上式作为的近似估计值,并
7、可作为新的初始值。重复上述上述方法,直到参数估计值收敛或满足要求的精度。(3-10)多元非线性回归模型的牛顿–拉夫森法取初始值,对采用一阶泰勒展开近似得其中是在处的二阶导数矩阵。由于,于是即(3-12)设参数向量,估计量向量,残差平方和取最小的一阶条件(3-13)则上式作为的近似估计值,并可作为新的初始值。重复上述上述方法,直到参数估计值收敛或满足要求的精度。五、迭代算法的初始值和收敛性高斯–牛顿法和牛顿–拉
