偏最小二乘法回归（Partial Least Squares Regression）

《偏最小二乘法回归（Partial Least Squares Regression）》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、偏最小二乘法回归（PartialLeastSquaresRegression）JerryLead@ISCAScsxulijie@gmail.com2011年8月20日星期六1.问题这节我们请出最后的有关成分分析和回归的神器PLSR。PLSR感觉已经把成分分析和回归发挥到极致了，下面主要介绍其思想而非完整的教程。让我们回顾一下最早的LinearRegression的缺点：如果样例数m相比特征数n少（m

2、A对样本X（m*n矩阵）进行降维，不妨称降维后的X为X’（m*r矩阵，一般加了’就表示转置，这里临时改变下），那么X’的秩为r（列不相关）。2.PCARevisited所谓磨刀不误砍柴工，这里先回顾下PCA。令X表示样本，含有m个样例*?(1),?(2),…,?(?)+，每个样例特征维度为n，(?)(?)(?)(?)?=*?1,?2,…??+。假设我们已经做了每个特征均值为0处理。1?如果X的秩小于n，那么X的协方差矩阵??的秩小于n，因此直接使用线性回归的?话不能使用最小二乘法来求解出唯一的θ，我们想使用PCA来使得???可逆，这样就可以用最小二乘法来进行回归了，

3、这样的回归称为主元回归（PCR）。PCA的一种表示形式：?=??rnrmmnTXP其中X是样本矩阵，P是X的协方差矩阵的特征向量（当然是按照特征值排序后选取的前r个特征向量），T是X在由P形成的新的正交子空间上的投影（也是样本X降维后的新矩阵）。在线性代数里面我们知道，实对称阵A一定存在正交阵P，使得?−1??为对角阵。因此可以让???的特征向量矩阵P是正交的。其实T的列向量也是正交的，不太严谨的证明如下：???=(??)?(??)=??????=??(????)?=???????=?其中利用了???=????，这是求P的过程，?是对角阵，对角线上元素就是特征值λ。

4、这里对P做了单位化，即???=?。这就说明了T也是正交的，P是???的特征向量矩阵，更进一步，T是???的特征向量矩阵（????=?????=??????=??)。这样经过PCA以后，我们新的样本矩阵T（m*r）是满秩的，而且列向量正交，因此直接代入最小二乘法公式，就能得到回归系数θ。PCA的另一种表示：?=?+?+?+⋯+?=???+???+???+⋯+???=???（假设X秩为n）123n112233??这个公式其实和上面的表示方式?=??没什么区别。?=??→???=????→?=???（当然我们认为P是n*n的，因此??=?−1）如果P是n*r的，也就是舍弃

5、了特征值较小的特征向量，那么上面的加法式子就变成了?=?+?+?+⋯+?+?=???+???+???+⋯+???+?=???+?123?112233??这里的E是残差矩阵。其实这个式子有着很强的几何意义，?是???第?大特征值对应的?归一化后的特征向量，?就是X在?上的投影。???就是X先投影到?上，还以原始坐标系?????得到的X’。下面这个图可以帮助理解：?1?2黑色线条表示原始坐标系，蓝色的点是原始的4个2维的样本点，做完PCA后，得到两个正交的特征向量坐标?1和?2。绿色点是样本点在?1上的投影（具有最大方差），红色点是在?上的投影。?的每个分量是绿色点在?

6、上的截距，?是红色点在?上的截距。???中21122??的每个分量都可以看做是方向为??，截距为??相应分量大小的向量，如那个?1上的橘色箭头。???就得到了X在?的所有投影向量，由于?和?正交，因此???+???就相当于每个点的???121122橘色箭头的加和，可想而知，得到了原始样本点。如果舍弃了一些特征向量如?，那么通过???只能还原出原始点的部分信息（得到的绿211色点，丢失了蓝色点在另一维度上的信息）。另外，P有个名字叫做loading矩阵，T叫做score矩阵。3.PLSR思想及步骤我们还需要回味一下CCA来引出PLSR。在CCA中，我们将X和Y分别投影

7、到直线得到u和v，然后计算u和v的Pearson系数（也就是Corr(u,v)），认为相关度越大越好。形式化表示：Maximize?????(?,?)?Subjectto:?????(?)?=1,?????(?)?=1其中a和b就是要求的投影方向。想想CCA的缺点：对特征的处理方式比较粗糙，用的是线性回归来表示u和x的关系，u也是x在某条线上的投影，因此会存在线性回归的一些缺点。我们想把PCA的成分提取技术引入CCA，使得u和v尽可能携带样本的最主要信息。还有一个更重要的问题，CCA是寻找X和Y投影后u和v的关系，显然不能通过该关系来还原出X和Y，也就是找不到X