资源描述：
《基于偏最小二乘法实现非线性回归分析》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第21卷第11期甘肃科技Vol.21No.112005年11月GansuScienceandTechnologyNov.2005基于偏最小二乘法实现非线性回归分析鲁庆华,任康乐,周凤玺(兰州理工大学土木工程学院,甘肃兰州730050)摘要:从应用的角度,提出了一种基于偏最小二乘回归和多项式回归相结合的多元非线性回归分析方法。通过理论分析及实例验证,指出该方法可以较好的进行多元非线性回归分析,具有较强的适用性。关键词:偏最小二乘;多项式回归;非线性回归分析中图分类号:O241.5在工程技术和经济管理的分析和预测研究中,多这两个要求表明,t
2、1和u1应尽可能好的代表数元回归建模是一种常见的方法。偏最小二乘回归方法据表X和Y;同时自变量的成分t1对因变量的成分开辟了有效的回归分析途径,利用成分提取的思路,采u1有具有最强的解释能力。在第一个成分t1和u1用了信息综合和筛选技术,有效的克服在应用最小二被提取后,根据各因变量Yk与成分t1的散点图的乘回归时遇见的自变量间的多重相关性。然而应用偏趋势曲线,分别实施Yk对t1的多项式回归以及X最小二乘回归分析建立的模型是一种多元线性回归模对t1的线性回归。如果回归方程已达到满意的精型,要求因变量与自变量间有显著的线性关系,但是,度,则
3、算法终止;否则将利用X被t1解释后的残余在实际应用中,还会遇到一些因变量集合与自变量集信息以及Y被t1解释后的残余信息进行第二轮成合间存在非线性的情况。这时,若仍采用偏最小二乘分提取。如此反复,直到能达到一个较满意的精度分析就很难得到较理想的回归模型,所以有必要对非为止。若最终对X共提取了m个成分,偏最小二乘线性回归模型进行探讨。多项式回归为这一问题提供法将通过施行Yx对t1,t2,⋯,tm的多项式回归。然了行之有效的解决办法。根据数学分析证明:在某点后再表达成yk关于原自变量x1,x2,⋯,xp的回归方的领域内连续的函数,可以用多项式
4、任意逼近,所以,程。K=1,2,⋯,q只要因变量与自变量的成分间存在着相关关系,就可根据上述原理,偏最小二乘回归的算法可归纳以用多项式来进行回归分析。为如下步骤:(1)将原始数据表X,Y标准化,得到标准化后1偏最小二乘非线性回归分析的自变量矩阵E0和因变量矩阵F0;1.1偏最小二乘非线性回归分析的原理和算法(2)提取第一轴W1和c1及相应的第一成分t1根据偏最小二乘回归分析的原理且结合多项式和u1;回归分析方法,现将基于偏最小二乘分析实现非线t1=E0w1性回归的原理和算法简述如下:u1=F0c1′′设有q个因变量{y1,y2,⋯,yq
5、}和p个自变量式中,w1是矩阵E0F0F0E0的最大特征值对应(x1,x2,⋯,xp),观测了n个样本点。由此构成了自的单位化的特征向量;变量与因变量的数据表X=[x1,X2⋯Xp]nxp和Y=c1是矩阵F0′E0E0′F0的最大特征值对应的单[y1,y2,⋯y9]nxp。偏最小二乘回归分别在X和Y位化的特征向量。中提取成分t1和u1。即t1是x1,x2,⋯,xp的线性组(3)分别求E0和F0对t1的回归方程;合,u1是y1,y2,⋯,yq的线性组合。在提取成分时,E0=t1p1′+E1111n1有下列两个要求:F0k=ɑ0k+ɑ1kt
6、1+⋯+ɑnkt1+F1k=1(1)t1和u1应尽可能的携带各数据表中的信息;n11iΣαikt1+F1k(k=1,2,⋯,q)(2)t1和u1的相关程度能够达到最大。i=0©1994-2008ChinaAcademicJournalElectronicPublishingHouse.Allrightsreserved.http://www.cnki.net第11期鲁庆华:基于偏最小二乘法实现非线性回归分析147E′0t1性质1成分th与同阶的残差向量是直交的,即式中,回归系数向量P1=2;‖t1‖对于任给的h,有F0K表示第k个因变量
7、;th′Eh=01αik表示第k个因变量F0k对第一成分t1的回归性质2成分t1,⋯,th之间是相互直交的,即对i多项式t1项的回归系数;于任给的h≠h,有1nik表示第k个因变量F0k对第一成分t1的回归th′tl=0多项式次数;性质3成分th与其后续的残差项均是直交的,F1k表示第k个因变量F0k回归后的残差;即对于任给的lEh,有F1=[F11,F12,⋯,F1q]。th′El=0E1,F1分别是两个回归方程的残差矩阵。性质4当lEh时,主轴wh与后续的残差向量(4)检验收敛性。若不满足计算精度要求,则用El之间有关系式残差矩阵E
8、1和F1取代E0和F0。然后求第二个轴及wh′El′=0第二个成分。重复上述步骤,直至满足要求。若在性质5当lEh时,主轴wh与后续回归系数向计算完第m个成分后计算终止。则有量正交,即mE0=t1p1′+t
