高维模型选择方法综述二.doc

《高维模型选择方法综述二.doc》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、高维模型选择方法综述（二）2013-4-129:08:33来源：李根邹国华张新雨《数理统计与管理》（京）2012年4期第640〜658页1.1.2两步法LASSO方法为了提高LASSO方法参数估计的准确性和相合性，对其进行修正是必要的，为此我们介绍两步法LASSO的两个例子：RelaxedLASSO与AdaptiveLASSO。RelaxedLASSO是由Meinshausen［17］提出的。它的主要思想为：先计算LASS。在由全路径方法选取的调整参数下的参数估计结果（调整参数选择将在第五节讨论），选出合适的变量；

2、对于选出的变量，再次应用LASSO,但减小或者消除惩罚因子的作用，因此第二步不进行变量选择。由此，RelaxedLASSO会得到与普通LASSO方法同样的模型，但是回归参数估计不同，前者不会过度缩小非零参数，因为模型选择和参数估计被分成两个独立的过程。上述方法是基于第一步LASSO能够选出真实模型的前提假设的。放松惩罚项可以更准确的估计参数值。若令第二步的惩罚项为零，则为典型的LASSO/OLS方法。一些经验和理论的结果表明，该方法优于普通的LASSO方法。更多的可参考Meinshausen［17］。另一个两步法L

3、ASSO的例子是ZouE18］提出的AdaptiveLASSO。该方法利用全模型最小二乘估计计算不同变量的惩罚项。若某变量最小二乘参数估计值较大，则其更可能为真实模型中的变量，因此该变量在惩罚最小二乘估计时惩罚项应较小，以确保其有更大的概率被选入模型。AdaptiveLASSO方法的惩罚项为pPx（ipi）=xI2-4—j=】i&i其中入，()>0为调整参数。注意到权重都是根据数据确定的，所以称为AdaptiveLASSO□同RelaxedLASSO性质类似，AdaptiveLASSO也可以减弱LASSO对非零系数

4、的缩减，从而减小偏差。但AdaptiveLASSO更重要的意义在于当变量个数固定而样本量趋于无穷时，其具有相合性，且这些参数估计的分布与事先给定非零变量位置的最小二乘得到的参数估计的分布渐近相同。1.1.3有序变量的模型选择方法有时数据变量呈现有序的结构，例如根据密度排列的蛋白质的光谱波长等。在这种情况下，我们希望相邻变量之间的系数估计相差不要太大，即选择模型中的变量总是与相邻变量同时出现。LASSO方法并不能实现这个目的。Tibshirani等(2005)[19]提出了FusedLASS。以达到上述目的。该方法在

5、LASSO惩罚项基础上添加了相邻系数之差的惩罚项，即最小化下述式子pP（1IIY-XPIP+Xi£l其中入2>0为调整参数。第二项惩罚项是对相邻变量系数差距的惩罚,可鼓励参数局部平缓变化。FusedLASSO-般用于变量存在自然顺序的模型选择中，它给出的参数估计在局部近似于常数。给定调整参数的值，则可利用二次算法来求解上述最小化问题。1.1.4未知分组的群组模型选择方法当一组强相关的解释变量同时存在时，普通的LASSO方法倾向于选取其中一个变量。但有的情形下，我们希望将这一组强相关的变量都选出来。事实上，前面提到的

6、Bridge方法的惩罚项是严格凸的，并且具有群组效应，但是不能实现模型选择。Zou和Hastie[20]结合LASSO方法与Bridge方法的优点，提出了既有群组效应乂能进行模型选择的ElasticNet(EN)方法来解决未知变量分组情况下的组群模型选择。该方法的简单形式如下:pp(1.9)(1.10)IIY-X。15£iBj+村i对数据集(X,Y)作如下变换X1*xp=(l+L)2

7、西」’其中I是pxp的单位矩阵。记,=可1钥°,则可将EN方法的最优化问题转化为LASSO方法的最优化Piiy*-x*if+y£iB

8、：I・，=i因此当设计阵列正交时，利用LASSO结论可给出EN方法的参数估计如下aO(1.12)W(I印-E.・队=,14S)•上述参数估计可视为LASSO估计（参数为E与岭回归估计（参数为.2）的结合，经历了两次系数缩减的过程。这个操作不能够明显降低参数估计的方差,但却带来了额外的偏差。最简单的调整方法就是将上述参数估计结果乘以（1+入2）进行尺度调整，Zou和Hastie[20]的模拟研究表明这样调整的预测效果较好。在参数数目随样本量增加的情形下，Zou和Zhang[21]将EN方法进行了推广。EN方法在微阵列

9、数据分析中有重要应用，因为它倾向于把相关的基因作为—个组群同时删除或选择出来。除此之外，当变量有共线性性时，EN方法得到的选择模型的预测准确性比LASSO高，并且前者可以更好地处理变量数目超过样本量的问题。具体可以参见Zou和IIastie[20]的文章。与上一小节不同，有些情形下我们可以知道变量的分组情况，在进行模型选择时，我们希望能同时保留或删除同一组的