岭回归理论与应用研究进展.pdf

《岭回归理论与应用研究进展.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第24卷第4期计算技术与自动化vd．24．N。42005年12月ComputingTechnologyandAutomationDec205文章编号：1003～6199(2005】04—0064—06岭回归理论与应用研究进展周晓宇，颜学峰，钱锋(华东理工大学智能控制研究所，上海200237)摘要：介绍了用采解i走夏共线性问题的改良最小二乘估计——岭回归方法的起源，发展现状厦应用前景。着重讨论了岭参数的选取方法、各种新型岭回归方法以厦岭回归在新*智能领域的应用，表明了岭回归方法具有很好的应用前景和发展空问。关键饲：复共线性；最小二乘法；岭回归；岭参

2、数中国分类号：TPl8文献标识码：ATheResearchDevelopmentofRidgeRegressionTheoryandItsApplicationZHOUXiao—yu，YANXue—feng，QIANFeng(InstituteofIntefligeneeControl，EastChinaUniversityofScienceandTechnology．Shanghai200237，China)Abstract：Inthispaper，animprovedLeastSquarcsEstimatornamedRidgeRegress

3、ion(RR)ispresentedFirstly，itsoriginandimprovements8reintroduced．Then，thepaperfocusesonhowtochooseRidgeParameterkandonnewtypesofRRmethodsandtheirapplicationinIntelligencefieldsFinally，itconcludesthatRRhasgoodapplicationforegroundanddevelopingspaceKeywools：multieoltinearity；[ea

4、stsquares；ridgeregression；ridgeparameter1引言近年来，随着先进控制技术在石油化工及相关行业中的广泛应用，智能建模技术变得越来越重要。如何建立合理有效的模型成了研究的核心，其中回归分析方法是一种经典的建模方法，回归方法不需要建立复杂的数学模型，所要研究的是如何来处理变量与变量之间的相关关系。回归方法可分为线性回归和非线性回归。比如经典最小二乘法Ordinaryleastsquares(OLS)，逐步回归Stepwiseregression(SR)，岭回归Ridgeregression(RR)，主成分回归Pri

5、ncipalcomponentregression(PCR)。偏最小二乘法Partialleastsquares(PLS)等都是线性回归方法；交互条件期望Alternatingconditionalex—pectations(ACE)，多元适应回归样条Muhivariateadaptiveregressionsplines(MARS)，非线性偏最小二乘Non—linearpartialleastsquares(NPLs)等均为非线性回归Lll。考虑到在一般情况下非线性回归可以转化为线性回归，所以实际常用的都是线性回归。线性回归中最经典的方法是最d

6、x--乘法LS(LeastSquares)。拟合已知数据，使得误差的平方和为最小，即最小二乘法。如果把一个线性模型描述为Gauss—Markov模型的形式：y=郄+e(1)其中E(￡)=0，Var(s)=d2I。，Y为”×1观察向量，X为t／×P列满秩设计矩阵，口为P×1未知参数向量，口的最dx--乘估计可表示为：口=(zTX)-lz7Y(2)从公式(2)可知在设计矩阵z必须是列满秩的前提下，即各自变量线性L无关，口只依赖统计量zlz和z7y。但是在运用回归方法进行建模的过程中，很难在众多因素中找到一组互不相关同时又对收稿日期：2005—12—2

7、2作者简介：周晓宇(1980一)．女，浙扛宁技人．硕士研究生．研究方向：模式识别与智能系统(E—mail：zhoufryaway@yahootomcn)。第24卷第4期周晓宇等：岭回归理论与应用研究进展65因变量有显著影响的变量，所以不可避免地会出现不同程度的共线性问题，即回归自变量之间存在复共线性(multicollinearity)，或称为病态(ill—conditioned)的。这里的复共线性是指在对实际对象建立多元回归模型时自变量间存在的一种近似的线性关系“J，这种近似线性关系会使矩阵z出现亏秩，使最小二乘在oIz求逆时引入很大误差，从而

8、使口不可靠，构建的数学模型不稳键”1；甚至在回归方程整体高度显著时，一些回归系数通不过显著性检验，正负号倒置，回归方程没有合理的经济解释