主成分回归偏最小二乘回归ppt课件.ppt

《主成分回归偏最小二乘回归ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、偏最小二乘方法偏最小二乘方法(PLS-PartialLeastSquares)的由来：回归分析无论在工程技术管理还是经济管理、社会科学的研究中，都是一种应用普遍的多元统计方法。回归分析通过建立自变量的线性组合来预测因变量的值。而对选择多元回归模型的自变量的基本要求就是模型中应包含所有对因变量有重要影响的因素，并且用来反映这些因素的自变量之间不存在密切的线性关系。然而实际问题中，当涉及的变量较多时，如果样本量不足够大很难找到一组完全不相关的自变量。特别是当样本量小于自变量的个数时，多重共线性是无法避免的一个问题。如果这时仍用普通的最小二乘回归方法，就会严重危害估计的效果，扩大模型误差，破坏模型的

2、稳定性。而且最小二乘估计很难解决多个自因变量对多个自变量进行回归的估计问题。偏最小二乘回归可以很好地解决上述问题。偏最小二乘方法的基本思想偏最小二乘方法(PLS-PartialLeastSquares)首先产生于化学领域，它是对最小二乘方法的推广。偏最小二乘法利用对数据进行分解和筛选，提取对因变量解释最强的综合变量，剔除多重相关信息和无解释意义的信息，从而克服了多变量多重共线x性在建模中的不良影响。偏最小二乘法和其他方法相比，具有简单稳健、计算量小、预测精度高、不需要剔除任何解释变量和样本点的优点，因而得到了广泛的应用。近年来偏最小二乘得到了迅速的发展，并将继续向非线性化、海量数据的处理方面发

3、展。若回归方程用矩阵标表示为：Y=XB+E对于2~p个因变量的图形表示为：Y=XB+E2~p2~p2~pnmnmn最小二乘的解为：(6.3)这个估计在许多情况下该种方法具有良好的性能。但是，此种方法也有固有的缺点。假若因变量呈现线性，误差小，无共线性，则多元线性回归是一种非常好的方法。多元线性回归方法是采用整个X矩阵来建立数学模型，而并不顾及在X中的信息与真实模型相关与否。很显然，若所得结果偏离了其实际数学模型，则对于未知样本的预测也是错误的。为了克服多元线性回归的不足，在数学方法上引进了主成分回归方法（PCR）。主成分回归主成分回归可分为两步：测定主成分数，并由主成分分析将X矩阵降维；对于降

4、维的X矩阵再进行线性回归分析。主成分分析的概念在前一章已经作了介绍。所谓主成分，它为一新的变量，而该新变量是原变量xij的线性组合。第一个主成分所能解释原变量的方差量最大，第二个次之，第三个再次之，等等。也就是说，主成分是一种线性组合，用它来表征原来变量时所产生的平方误差最小。运用主成分分析，原变量矩阵X可以表达为得分（即主成分）矩阵T，而T由X在某个矢量P上的投影所得。主成分与矩阵X一一对应，即T=XP。设矩阵X的阶为I*J，若T的阶与J相等，则主成分回归与多元线性回归所得结果相同，并不能显示出主成分回归的优越之处。选取的主成分数一般应该比J小，而删去那些不重要的主成分，因为这些主成分所包含

5、的信息主要是噪声，由此所得的回归方程稳定性较好。另外，由X所定义的空间可以进一步来说明主成分回归与多元线性回归的区别。多元线性回归应用了由X的列所定义的全部空间，而主成分回归所占用的是一子空间。当X的J列中，有一列可为其它J-1列的线性组合时，则X可用J-1列的矩阵T来描述，而并不丢失信息。新的矩阵T定义了X的一个子空间。综合上述，X可由它的得分矩阵T来描述（由于删去了含带信息较少的维，所以T的维数小于X的维数）：T=XP若用图形表示，则为：T=XPamannm由此可得多线性方程：Y=TB+E其解为：可表示为：Y=TB+Epppannna主成分分析可以解决共线问题，同时由于去掉了不太重要的主成

6、分，因而可以削弱随机误差所产生的影响。但是，由于主成分回归为二步法，若在第一步中消去的是有用的主成分，而保留的是噪声，则在第二步多元线性回归所得结果就将偏离真实的数学模型。偏最小二乘回归方法PLS最先产生于化学领域,在利用分光镜来预测化学样本的组成时,作为解释变量的红外区反射光谱的波长常有几百个,往往超过化学样本的个数,所造成的多重相关性使得人们很难利用传统的最小二乘法。基于这个应用的需要,S.Wold和C.Albano等人于1983年首次提出了PLS回归方法并首先在化工领域取得了广泛的应用。在国内,最早对此进行系统研究的学者是北京航空航天大学的王惠文教授。偏最小二乘回归的基本思想设有p个自变

7、量{}和q因变量{}。为了研究因变量和自变量的统计关系,我们观测了n个样本点,由此构成了自变量与因变量的数据表X={}n×p和Y={}n×q。偏最小二乘回归分别在X与Y中提取出成分t1和u1(也就是说,t1是的线性组合,u1是的线性组合)。11在提取这两个成分时,为了回归分析的需要,有下列两个要求:(1)t1和u1应尽可能大地携带它们各自数据表中的变异信息;(2)t1和u1的相关程度能够达到最大。