逻辑回归算法及其gpu并行实现研究

《逻辑回归算法及其gpu并行实现研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文逻辑回归算法及其GPU并行实现研究RESEARCHONLOGISTICREGRESSIONANDITSPARALLELIMPLEMENTATIONONGPU董学辉哈尔滨工业大学2016年6月国内图书分类号：TP391.4学校代码：10213国际图书分类号：621.3密级：公开工学硕士学位论文逻辑回归算法及其GPU并行实现研究硕士研究生：董学辉导师：叶允明教授申请学位：工学硕士学科：计算机科学与技术所在单位：深圳研究生院答辩日期：2016年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP391.4U.D.C:621.3Dissertationfo

2、rtheMasterDegreeinEngineeringRESEARCHONLOGISTICREGRESSIONANDITSPARALLELIMPLEMENTATIONONGPUCandidate：XuehuiDongSupervisor：Prof.YunmingYeAcademicDegreeAppliedfor：MasterDegreeinEngineeringSpecialty：ComputerScienceandTechnologyAffiliation：ShenzhenGraduateSchoolDateofDefence：June,2016Degree-Conf

3、erring-Institution：HarbinInstituteofTechnology哈尔滨工业大学工学硕士学位论文摘要逻辑回归是重要的机器学习分类方法之一，由于其模型简单、训练速度快而在互联网、金融、医疗等领域有着广泛的应用。在逻辑回归的训练过程中最主要的步骤就是使用迭代法对参数进行更新，随着实际应用中数据规模的逐渐增大，对逻辑回归的训练精度和速度有着越来越高的要求。近年来GPU硬件的不断发展，使得基于GPU的通用计算逐渐成为研究热点，这为逻辑回归的加速训练提供了有力支持。本文基于梯度下降法实现了逻辑回归及正则化逻辑回归，针对梯度下降中遇到的问题对算法进行了改进，并结

4、合GPU的硬件特性，实现了基于GPU的并行化逻辑回归系统。论文主要完成的工作如下：针对最速梯度下降法和随机梯度下降法在训练过程中普遍存在的后期收敛慢的问题，本文提出了一种基于目标函数收敛速率的动态步长方法。该方法首先计算两次训练过程中目标函数的收敛速率，然后按照给定的更新频率和强度对训练中使用的步长进行更新，取得了后期收敛加速的效果，从而可以节省训练时间。针对L正则化逻辑回归中使用的普通符号函数并不能真正引导出稀疏性1的问题，本文提出了一种改进型的符号函数对训练中使用的下降方向进行改进。由于L正则化项不能求导，因此在基于梯度的方法中通常引入符号函数进行计1算，普通符号函数只关

5、注参数本身的符号，而本文提出的改进方法中，通过计算参数在更新前后符号的变化来确定正则化项最后的符号，使得L正则化逻辑1回归产生了良好的稀疏性，起到了特征选择的作用。本文结合GPU的硬件特性实现了基于GPU的并行逻辑回归算法。相比于随机梯度下降法，最速梯度下降法每次使用所有样本进行更新，因此表现出较好的加速可能，在实验中将最速梯度下降法应用到大规模及高维度的数据集上都取得了良好的加速效果。关键词：逻辑回归；梯度下降算法；正则化；GPU并行计算I哈尔滨工业大学工学硕士学位论文AbstractLogisticregressionisanimportantclassification

6、methodinthefieldofmachinelearning.Duetothesimplicityofitsmodelandthefasttrainingspeed,ithasawiderangeofapplicationsinInternet,Finance,Medicaltreatment,etc.Themainstepinthetrainingprocessoflogisticregressionistouseiterativemethodtoupdatetheparameters.Withtheincreaseofthesizeofdatainpractical

7、use,itneedsahigherdemandintrainingprocess.InrecentyearsthegeneralcomputingmodelbasedonGPUhasgraduallybecomearesearchfocus,whichcanbeexploitedtoacceleratethetrainingprocessoflogisticregression.Thispaperimplementslogisticregressionandregularizedlogisticreg