资源描述：
《回归=多元线性回归分析+典型相关分析+主成分分析》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、偏最小二乘冋归是一种新型的多元统计数据分析方法，它与1983年曲伍德和阿巴诺等人首次提出。近十年来，它在理论、方法和应用方面都得到了迅速的发展。密西根大学的弗耐尔教授称偏最小二乘冋归为第二代冋归分析方法。偏最小二乘回归方法在统计应用中的重要性主要的有以下几个方面：（1）偏最小二乘回归是一种多因变量对多自变量的回归建模方法。（2）偏最小二乘冋归可以较好地解决许多以往用普通多元冋归无法解决的问题。在普通多元线形回归的应用屮，我们常受到许多限制。最典型的问题就是自变量Z间的多重相关性。如果采用普通的最小二乘方法，这种变量多重相关性就会严重危害参数估计，扩人模型误差，并破坏模型的稳定性。变量多重相关问
2、题十分复杂，长期以来在理论和方法上都未给出满意的答案，这一直困扰着从事实际系统分析的工作人员。在偏最小二乘冋归中开辟了一种有效的技术途径，它利用对系统屮的数据信息进行分解和筛选的方式，提取对因变量的解释性最强的综合变量，辨识系统屮的信息与噪声，从而更好地克服变量多重相关性在系统建模中的不良作用。（3）偏最小二乘回归Z所以被称为第二代回归方法，还由于它可以实现多种数据分析方法的综合应用。偏最小二乘回归二多元线性回归分析+典型相关分析+主成分分析由于偏最小二乘回归在建模的同时实现了数据结构的简化，因此，可以在二维平面图上对多维数据的特性进行观察，这使得偏最小二乘回归分析的图形功能十分强大。在一次偏
3、最小二乘冋归分析计算后，不但可以得到多因变量对多自变量的冋归模型，而且可以在平面图上直接观察两组变量之间的相关关系，以及观察样木点间的相似性结构。这种高维数据多个层面的可视见性，可以使数据系统的分析内容更加丰富，同时又可以对所建立的回归模型给予许多更详细深入的实际解释。偏最小二乘回归的建模策略原理方法1.1建模原理设有q个因变屋｛儿,..•，儿｝和卩自变量｛坷,・・•宀｝。为了研究因变量和自变量的统计关系，我们观测了n个样本点，由此构成了变量与因变量的数据表X二｛码,…宀｝和.丫二｛兀,...,儿｝。偏最小二乘回归分别在乂与丫中提取出成分"和妁（也就是说，耳是坷,…，心的线形组合，均是＞★
4、・・•，儿的线形组合）.在提取这两个成分时,为了冋归分析的需耍，有下列两个要求：（1）耳和"应尽可能人地携带他们各自数据表中的变界信息；（2）斤与绚的相关程度能够达到最大。这两个要求表明，“和坷应尽可能好的代表数据表X和Y,同时口变量的成分“对因变量的成分均又有最强的解释能力。在第一个成分◎和坷被提取后，偏最小二乘冋归分别实施X对厶的冋归以及Y对均的回归。如果冋归方程已经达到满意的精度，则算法终止；否则,将利用X被儿解释后的残余信息以及Y被"解释后的残余信息进行第二轮的成分提取。如此往复，直到能达到一个较满意的精度为止。若最终对X共提収了m个成分八…-偏最小二乘till归将通过实施*对人…r的
5、回归，然后再表达成”关于原变量乂］...x缈的回归方程,k=l,2,・・・,qo1.2计算方法推导为了数学推导方便起见,首先将数据做标准化处理。X经标准化处理后的数据矩阵记为£0=（,…，EJnxp,约经标准化处理后的数据矩阵记为F（）=（G，…，他）计。第一步记"是凤的第一个成分，叫是巴）的第一个轴，它是一个单位向量,既IIWj11=1o记％是的第一个成分，"严F（）CiCi是的第一个轴，并且“Ci""。O如果要斤血能分别很好的代表X与Y中的数据变异信息，根据主成分分析原理，应该有Var（w,）—>maxVar（F[）->max另一•方面，由于冋归建模的需要，又要求耳对均有很大的解释能力，有
6、典型和关分析的思路，"与均的相关度应达到最大值，既r(儿11)Tmax因此，综合起來，在偏最小二乘冋归中，我们要求儿与坷的协方差达到最大，既COV(",W,)=^JVar(ti)Var(Ui)r(t{妁)T^ax正规的数学表述应该是求解下列优化问题，既WfC]S.tfW1W1=1IClCl=1因此，将在llw』2=l和
7、
8、C1
9、
10、2=1的约束条件下，去求（W
11、E（｝FoCl）的最大值。如果采用拉格朗口算法，记•・Is=W!EoF（>Ci-2,（Wi（oCi_i）对s分别求关于wga和；u的偏导并令z为零，有8$矿E°F°Cl_2九忙0(1-2)(1-3)d-4)^■=Fo£o—2A2Ci=0
12、Qs•—=-(^.--1)=06s=—（C]C厂1）=0（1・5）由式（1・2）〜（1・5）,可以推出22,=2/l2=w'iEoF（）C]=<£*（）“[,F（）C]>记q=22]=2久2=wiEoFqC],所以,q正是优化问题的目标函数值.把式（1・2）和式（1・3）写成Eo坨q=d-6)F'oE()W[=0xCd-7)将式（1・7）代入式（1・6）,有EoF（）FoE（）W[二d-8)同理
