资源描述：
《2019专题6偏最小二乘回归ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、专题6偏最小二乘回归PartialLeast-SquaresRegression1主要内容一、偏最小二乘回归概述二、偏最小二乘回归的建模步骤三、偏最小二乘回归的辅助分析技术四、偏最小二乘回归的研究前沿五、文献研读2一、偏最小二乘回归概述偏最小二乘回归方法的产生背景偏最小二乘回归的基本思想偏最小二乘回归的特点3偏最小二乘回归方法的产生背景PLS最先产生于化学领域,在利用分光镜来预测化学样本的组成时,作为解释变量的红外区反射光谱的波长常有几百个,往往超过化学样本的个数,所造成的多重相关性使得人们很难利用传统的最小二乘法。基于这个应用的需要,S.Wold和C.A
2、lbano等人于1983年首次提出了PLS回归方法并首先在化工领域取得了广泛的应用。一、偏最小二乘回归概述4在国内,最早对此进行系统研究的学者是北京航空航天大学的王惠文教授。一、偏最小二乘回归概述——偏最小二乘回归方法的产生背景(续)5偏最小二乘回归的基本思想设有p个自变量{}和q因变量{}。为了研究因变量和自变量的统计关系,我们观测了n个样本点,由此构成了自变量与因变量的数据表X={}n×p和Y={}n×q。偏最小二乘回归分别在X与Y中提取出成分t1和u1(也就是说,t1是的线性组合,u1是的线性组合)。一、偏最小二乘回归概述6在提取这两个成分时,为了回
3、归分析的需要,有下列两个要求:(1)t1和u1应尽可能大地携带它们各自数据表中的变异信息;(2)t1和u1的相关程度能够达到最大。这两个要求表明：t1和u1应尽可能好地代表数据表X和Y,同时,自变量的成分t1对因变量的成分u1又有很强的解释能力。一、偏最小二乘回归概述——偏最小二乘回归的基本思想(续)7在第一个成分t1和u1被提取后,偏最小二乘回归分别实施X对t1的回归以及Y对t1的回归。如果回归方程已经达到满意的精度,则算法终止;否则,将利用X被t1解释后的残余信息以及Y被t1解释后的残余信息进行第二轮的成分提取。如此往复,直到能达到一个较满意的精度为止
4、。若最终对X共提取了m个成分t1、t2、…、tm,偏最小二乘回归将通过实施yk(k=1、2、…、q)对t1、t2、…、tm的回归,然后表达成yk关于原变量x1、x2、…、xp的回归方程。一、偏最小二乘回归概述——偏最小二乘回归的基本思想(续)8偏最小二乘回归的特点1.PLS是一种可以处理多个因变量对多个自变量的回归建模方法。特别当各变量集合内部存在较高程度的相关性时,用PLS进行回归建模分析,比对逐个因变量做多元回归更加有效,其结论更加可靠,整体性更强。2.PLS可以较好地解决许多以往用普通多元回归分析方法无法解决的重要问题。例如自变量之间的多重相关性问题
5、和样本点容量不宜太少等问题。一、偏最小二乘回归概述9偏最小二乘回归的特点1.PLS是一种可以处理多个因变量对多个自变量的回归建模方法。特别当各变量集合内部存在较高程度的相关性时,用PLS进行回归建模分析,比对逐个因变量做多元回归更加有效,其结论更加可靠,整体性更强。2.PLS可以较好地解决许多以往用普通多元回归分析方法无法解决的重要问题。例如自变量之间的多重相关性问题和样本点容量不宜太少等问题。一、偏最小二乘回归概述103.PLS可以实现多种数据分析方法的综合应用。它可以集多元线性回归方法、主成分分析法和典型相关分析的基本功能为一体。在一次PLS计算后,不
6、但可以得到多因变量对多自变量的回归模型,而且可以分析2组变量之间的相关关系,以及观察样本点间的相似性结构。这使得数据系统的分析内容更加丰富,同时还可以对所建立的回归模型给予许多更详细深入的实际解释。一、偏最小二乘回归概述——偏最小二乘回归的特点(续)114.PLS允许在最终模型中包含原来全部自变量,最大限度地利用数据信息,使得PLS在相同的数据信息情况下比普通多元二乘回归模型具有更高的有效性。5.在建模的同时实现了数据结构的简化,可以在二维平面上对多维数据的特性进行观察,图形功能强大。因此,许多统计分析专家称PLS为第二代回归分析方法。一、偏最小二乘回归概
7、述——偏最小二乘回归的特点(续)12二、偏最小二乘回归的建模步骤Step1.将X与Y进行标准化处理,得到标准化后的自变量矩阵E0=(E01,E02,…,E0P)n×p和因变量矩阵F0=(F01,F02,…,F0q)n×q。标准化处理的目的是为了公式表达上的方便和减少运算误差。13Step2.记t1是E0的第1个成分,t1=E0ω1,ω1是E0的第1个轴,它是一个单位向量，既
8、
9、ω1
10、
11、=1。记u1是F0的第1个成分,u1=F0c1。c1是F0的第1个轴,并且
12、
13、c1
14、
15、=1。如果要t1和u1能分别很好地代表X与Y中的数据变异信息,根据主成分分析原理，应该有
16、：Var(t1)maxVar(u1)max二、偏最小二乘回归的
