应用多元统计分析解析.ppt

《应用多元统计分析解析.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、应用多元统计分析第十一章偏最小二乘回归1第十一章偏最小二乘回归目录§11.1偏最小二乘回归分析方法§11.2应用例子2在实际问题中,经常迂到需要研究两组多重相关变量间的相互依赖关系,并研究用一组变量(常称为自变量或预测变量)去预测另一组变量(常称为因变量或响应变量),除了最小二乘准则下的经典多元线性回归分析(MLR),提取自变量组主成分的主成分回归分析(PCR)等方法外,还有近年发展起来的偏最小二乘(PLS)回归方法.第十一章什么是偏最小二乘回归3偏最小二乘回归提供一种多对多线性回归建模的方法,特别当两组变量的个数很多,且都存在多重

2、相关性,而观测数据的数量(样本量)又较少时,用偏最小二乘回归建立的模型具有传统的经典回归分析等方法所没有的优点。偏最小二乘回归分析在建模过程中集中了主成分分析,典型相关分析和线性回归分析方法的特点,因此在分析结果中,除了可以提供一个更为合理的回归模型外,还可以同时完成一些类似于主成分分析和典型相关分析的研究内容,提供更丰富、深入的一些信息。第十一章什么是偏最小二乘回归4本章结合SAS/STAT软件中用于完成偏最小二乘回归的PLS过程,介绍偏最小二乘回归分析的建模方法；并通过例子从预测角度对所建立的回归模型进行比较。第十一章什么是偏

3、最小二乘回归5考虑p个因变量Y1,…,Yp与m个自变量X1,…,Xm的建模问题。偏最小二乘回归的基本作法是首先在自变量集中提取第一成分T1(T1是X1,…,Xm的线性组合,且尽可能多地提取原自变量集中的变异信息);同时在因变量集中也提取第一成分U1,并要求T1与U1相关程度达最大。然后建立因变量Y1,…,Yp与T1的回归，如果回归方程已达到满意的精度，则算法终止。§11.1偏最小二乘回归分析6§11.1什么是偏最小二乘回归否则继续第二对成分的提取,直到能达到满意的精度为止。若最终对自变量集提取r个成分T1,T2,…,Tr,偏最小二乘回归

4、将通过建立Y1,…,Yp与T1,T2,…,Tr的回归式,然后再表示为Y1,…,Yp与原自变量的回归方程式,即偏最小二乘回归方程式.7假定p个因变量Y1,…,Yp与m个自变量X1,…,Xm均为标准化变量。因变量组和自变量组的n次标准化观测数据阵分别记为：§11.1偏最小二乘回归分析Y0=y11…y1p………yn1…ynpX0=x11…x1m………xn1…xnmnpnm8偏最小二乘回归分析建模的具体步骤如下：(1)分别提取两变量组的第一对成分,并使之相关性达最大。假设从两组变量分别提取第一对成分为T1和U1,T1是自变量集X=(X1,

5、…,Xm)′的线性组合:T1=w11X1+…+w1mXm=w1′X，U1是因变量集Y=(Y1,…,Yp)′的线性组合:U1=v11Y1+…+v1pYp=v1′Y.§11.1偏最小二乘回归分析9为了回归分析的需要,要求：①T1和U1各自尽可能多地提取所在变量组的变异信息；②T1和U1的相关程度达到最大。由两组变量集的标准化观测数据阵X0和Y0，可以计算第一对成分的得分向量,记为t1和u1：t1=X0w1=§11.1偏最小二乘回归分析10u1=Y0v1=§11.1偏最小二乘回归分析第一对成分T1和U1的协方差Cov(T1,U1)可用第一

6、对成分的得分向量t1和u1的内积来计算。故而以上两个要求可化为数学上的条件极值问题：11对中心化的数据，有：=w1X0Y0v1→最大,约束条件:‖w1‖2=1,‖v1‖2=1,§11.1偏最小二乘回归分析同时最大化方差Var(T1)、Var(U1)和ρ(T1,U1):12§11.1偏最小二乘回归分析令13§11.1偏最小二乘回归分析由(1)和(4)可以得到：定义，由(3)和(4)得到还可得到14§11.1偏最小二乘回归分析由以及可知w1是的最大特征值对应的特征向量。v1是的最大特征值对应的特征向量。15§11.1偏最小

7、二乘回归分析问题的求解只须通过计算m×m矩阵M=X0Y0Y0X0的特征值和特征向量,且M的最大特征值为θ12,相应的单位特征向量就是所求的解w1，而v1可由w1计算得到:(见p14)16§11.1偏最小二乘回归分析(2)建立Y1,…,Yp对T1的回归及X1,…,Xm对T1的回归.假定回归模型为其中α1=(α11,…,α1m)′,β1=(β11,…,β1p)′分别是多对一的回归模型中的参数向量,E1和F1是残差阵.回归系数向量α1,β1的最小二乘估计为17§11.1偏最小二乘回归分析在PLS过程中称α1=(α11,…,α1m)′

8、为模型效应负荷量(ModelEffectLoadings).18§11.1偏最小二乘回归分析(3)用残差阵E1和F1代替X0和Y0重复以上步骤.如果残差阵F1中元素的绝对值近似为0，则认为用第一个成分建立