Lasso及其改进方法在变量选择中的优劣性研究

《Lasso及其改进方法在变量选择中的优劣性研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文Lasso及其改进方法在变量选择中的优劣性研究RESEARCHONTHEADVANTAGESANDDISADVANTAGESOFLASSOANDITSIMPROVEDMETHODSINVARIABLESELECTION郝宽哈尔滨工业大学2018年6月国内图书分类号：O213.9学校代码：10213国际图书分类号：519.2密级：公开理学硕士学位论文Lasso及其改进方法在变量选择中的优劣性研究硕士研究生：：郝宽导师：：方茹副教授申请学位：：理学硕士学科：：应用统计所在单位：：数学系答辩日期：：2018年6月授予学位单位：：哈尔滨工业大

2、学ClassifiedIndex:O213.9U.D.C:519.2DissertationfortheMasterDegreeinScienceRESEARCHONTHEADVANTAGESANDDISADVANTAGESOFLASSOANDITSIMPROVEDMETHODSINVARIABLESELECTIONCandidate：HaoKuanSupervisor：Assoc.Prof.FangRuAcademicDegreeAppliedfor：MasterofScienceSpeciality：AppliedStatisticsAffi

3、liation：DepartmentofMathematicsDateofDefence：June,2018Degree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学应用统计硕士专业学位论文摘要在对多元的数据进行分析建模的时候，如果缺少了某一个重要的影响因素，那么建立的模型偏差会比较大，所以我们希望引入更多变量。但是引入的变量有可能会增加设计矩阵的共线性进而影响建模效果，而且如果引入的变量无显著影响则模型的可解释性也会受到影响。Lasso及其改进的方法SCAD,自适应Lasso

4、和弹性网都可以通过收缩估计值来进行变量选择和参数估计。但是在不同的应用背景下，这四种方法进行建模的效果也会有所差异。本文对Lasso及其改进方法之间的优劣性进行了探讨，具体研究分以下四个部分：第一，本文对Lasso回归相关理论进行阐述，并且介绍了Lasso参数的估计方法和实现Lasso回归的算法。第二，对SCAD,自适应Lasso,弹性网的相关理论进行阐述，通过比较它们的惩罚项来分析它们与Lasso之间的关系。第三，在一种线性模型的背景下进行模拟，比较Lasso及其改进方法在建模过程中选择变量的能力。第四，在一种非线性模型的背景下进行模拟，比较L

5、asso及其改进方法建模的效果，并且引入糖尿病数据进行实例分析来验证模拟的结论。本文通过研究这四种方法在变量选择中的特点，给出了不同应用背景下它们的优劣性比较。这对人们在实际建模中选择合适的回归方法有一定帮助。关键词：变量选择；Lasso；SCAD；自适应Lasso；弹性网-I-哈尔滨工业大学应用统计硕士专业学位论文AbstractWhenwemodelwithmultivariatedata,ifweignoreanimportantinfluencingfactor,thedeviationofthemodelwillbeverylarge.

6、Sowewanttointroduceasmanyvariablesaspossible.However,theintroducedvariablesmayincreasethecollinearityofthedesignmatrixandaffecttheeffectofmodeling.Iftheintroducedvariableshavenosignificantimpact,thenthemodel'sinterpretabilitywillbepoor.Lasso,SCAD,adaptiveLassoandelasticnetwor

7、kcanallbeusedtoselectvariablesandestimateparametersbyshrinkageestimates.Buttheirmodelingeffectsaredifferentindifferentcontexts.Inthisdissertation,westudytheadvantagesanddisadvantagesofLassoanditsimprovementmethods.Thespecificresearchisdividedintothefollowingfourparts：First,we

8、introducethecorrelationtheoryofLasso,andgivetheestimationmethodofLas