非线性回归模型

《非线性回归模型》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第12章非线性回归模型非线性模型的基本假定非线性模型的参数估计回归评价和检验一、非线性模型的基本假定非线性回归分析是线性回归分析的扩展，也是传统计量经济学的结构模型分析法。由于非线性回归的参数估计涉及非线性优化问题，计算比较困难，推断和预测的可靠性也要差一些，因此传统计量经济学较少研究非线性回归。随着计算机技术的发展，非线性回归的参数估计计算困难得到了克服，非线性回归分析开始受到更多的重视，现在已经成为计量经济研究的热点之一，基本形成了与线性回归分析相对应的、比较完整的回归分析和检验预测分析方法体系。我们知道线性回归模型分析的变量线性关系只是经济变量关系中的特例，现实

2、中的多数经济变量关系是非线性的。当然非线性变量关系常常可以通过初等数学变换转化为线性回归模型，然后再运用线性回归分析方法进行分析，但仍然有不少非线性关系无法进行这种变换。例如，若两个经济变量之间存在关系为：YXεY与X之间构成非线性关系，且该非线性显然无法通过初等数学变换转化为线性模型。此外，非线性模型的转换不仅涉及到趋势性部分，也涉及随机误差部分，因此误差项的作用方式对于非线性模型的转化是非常重要的。有些非线性关系就是因为误差项是可加而不是可乘的，从而导致不能利用对数变换进行转化。例如，若常见的柯布—道格拉斯生产函数中的随机误差项是可加而不是可乘的，即：Y

3、AKLε则该模型就不能通过初等数学变换转化为线性模型。建立非线性计量经济模型的方法与建立线性模型是相似的，通常也是根据经济理论、实际经济问题，以及相关的数据图形等建立初步模型，然后通过对模型的分析、检验、判断和比较，选择、确定和完善模型。进行线性回归分析时，如果通过分析和检验发现存在把非线性关系误作线性关系的问题时，就需要考虑把线性模型改为非线性模型，因此线性回归分析本身也是非线性模型的一个重要来源。与线性模型相似，为了保证非线性回归分析的价值及分析工作的顺利进行等，也需要对非线性回归模型作一些基本假设。非线性模型关于模型函数形式和参数E(ε)0的假设与线性模型相似，第

4、一条假设是模型具有上述2Var(ε)In非线性的函数形式，关于随机误差项的假设也是满足ε2E(ε)0，Var(ε)In，而且也可以要求服从正态分布，即2N(,0I)nε～N(,0I2)。n二、非线性模型的参数估计参数估计也是非线性回归分析的核心步骤。非线性回归分析参数估计的方法也有多种，基本方法同样是最小二乘参数估计和最大似然估计。在此，主要了解非线性回归参数的最小二乘估计，也称“非线性最小二乘估计”。非线性最小二乘估计就是求符合如下残差平方和S()[βYXf(,)][βYXf(,)]β达到极小的β值，即为βˆ(,ˆ,ˆ)。为了方便起见1p，将

5、把上述最优化问题的目标函数S()β称为“最小二乘函数”。当模型只有一个待估计参数时，最小二乘函数是模型唯一参数的一元函数；当待估计参数有多个时，则是参数向量β的向量函数。该最小化问题在形式上与线性回归分析的最小化问题是相似的，不同在于回归函数f是参数的非线性函数而不是线性函数，因此S()β的正规方程组不再是线性方程组，一般无法通过解析的方法求解，必须采用某种搜索或迭代运算的非线性优化方法获得参数估计值。实际上，非线性最小二乘估计引出了非线性优化的需要。其实最大似然估计量的计算等也需要用到非线性优化分析。2Xi例：Yeuii1S()uˆ22(Ye2X

6、i)i1S()XX2(Ye22ii)(e)011S()XX2(Ye22ii)(eX)011i2NLLS非线性最小二乘法Ye22XXiie2i1YXe22XXiiXe2ii1iNLLS非线性最小二乘法要解决的问题是如何求解以上的方程1.试错法或直接搜索法Ye2Xiuii1假定0.45,0.0112220.01Xiui(Y0.45e)2ui0.30440.520.0112ui0.00732.最陡爬坡法最陡爬坡法是常用的非线性最优化数值方法之一。最陡爬坡法的基本思路是

7、：从一个初始参数值出发，在一个给定半径的圆周上找目标函数最大（或最小）的一组参数值，然后再以该组参数值为出发点重复上述搜索过程，直至收敛。3.迭代线性化方法参数的初始值的非线性方程线性化，然后用OLS估计线性化方程，并且调整最初选取的参数值。经过调整的参数值可用来再次线性化该模型，然后再一次用OLS进行估计，重新调整估计值，继续这个过程直到最后一组迭代中得到的估计值没有实质性变化。将非线性方程线性化的主要技巧是微积分中的泰勒级数展开。高斯-牛顿迭代法和牛顿-拉夫森迭代法（1