基于多尺度高斯核的弹性网回归算法.pdf

《基于多尺度高斯核的弹性网回归算法.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、ScientificIournalofInformationEngineeringFebruary2014，Volume4，Issue1，PP．19—25Elastic—NetRegressionAlgorithmBasedonMulti—ScaleGaussianKernelYongHXu~,Zhenjun，曙DepartmentofMathematics，BeijingUniversityofChemicalTechnology，Beijing100029，ChinaEmail：xuyongli23

2、12@sina．tom；buctjzj@126．comAbstractThispaperproposesanelastic·-netalgorithmbasedonmulti-scaleGaussiankernelstodealwiththeapproximationofregressionfunction．WeuseGaussiankernelswithdifferentkemelwidthtoapproximatethehighandlowfrequencycomponentsoftheregres

3、sionfunction；thenweightedL1nornlandL2normofthepredictionfunctionutilizedasregularizationterm．Inthesimul~ionexperiments，multipleGaussiankernelsbasedelastic—netobtainslesspredictionerrorandbe~ersparseperformancethansingleGaussiankernelbasedelastic—net．Inad

4、dition，multipleGaussiankernelsbasedelastic—netCanpreciselypredictthehighandlowfrequencycomponentsofobjectivefunction．Keywords：Multi-kernelBasedElastic-net；GaussianKernel；LeastSquaresRegularizedRegression；Sparsity基于多尺度高斯核的弹性网回归算法术徐永利，杨镇郡北京化工大学数学系，北京100029

5、摘要：本文提出了一种基于多尺度高斯核的弹性网学习算法用以对回-J函数的逼近。我们利用具有不同核宽度的高斯核函数构造基函数，同时逼近目标函数的高频和低频成分。我们借鉴一般弹性网的思想，取预测函数系数的L1范数和L2范数的加权组合作为最优化问题的正则项。在仿真数据和真实数据的实验中，基于双高斯核的弹性网比单高斯核弹性网取得了更小的预测误差和更好的稀疏性表现。另外，基于双高斯核的弹性网很好地预测了目标函数的高频和地频成分。关键词：多核弹性网；高斯核；最小二乘正则回归；稀疏性引言Lasso算法(1eastsol

6、uteshrinkageandselectionoperator)~ll岭回归算法(ridgeregression)是两种重要的正则化回归算法，[61。Lasso算法最早是作为高维统计的回归算法而提出来的，其形式为：lITx／~ll+窆lI。其最j=l优化的目标有两项：残差平方和与回归系数绝对值之和。这里，回归系数绝对值之和可以看做回归系数的L1范数。随着正则化参数的增大，回归系数绝对值之和逐渐变小，各回归系数相继收敛到0。因此，Lasso算法求得的系数具有稀疏性。如果Lasso算法中L1范数改为L2范

7、数，就变为岭回归算法。岭回归算法比Lasso算法具有更优的预测能力，但求解系数的稀疏性不及Lasso算法。Zou和Hastie提出了一种兼具Lasso和岭回归算法优势的弹性网算法(elasticnet)]，其形式为：r1N一．](，)(屁川(鼠川I(一一)+(j‘)其中()=(1-)+~IIBI。弹性网的正则项是Lasso和岭回归正则项的凸组合。当a=0时，即为简单的岭回归；当a=l时，即为Lasso算法。大量数值试验的结果表明，弹性网算法同时具备良好的预测能力基金资助：受国家自然科学基金支持资助(11

8、101024)。．19．http：／／www．sjie．org和系数的稀疏性ljJ。核方法是机器学习的一种有效的方法J。核方法的主要思想是基于这样一个假设：在低维空间中不能线性分割的点集，通过转化为高维空间中的点集时，很有可能变为线性可分的支持向量机在理论和应用的发展，引起人们对核方法的高度关注【4】。核方法多是基于单个特征空间的单核方法。但是，当样本特征含有异构信息，样本规模很大，多维数据的不规则或数据在高维特征空间分布的不平坦，采用单个