随机梯度下降和对偶坐标下降算法的研究与应用

《随机梯度下降和对偶坐标下降算法的研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文MASTER’SDISSERTATION论文题目随机梯度下降和对偶坐标下降算法的研究与应用作者姓名邓卫钊学科专业信息与通信工程指导教师王金甲教授2016年5月中图分类号：TP391.9学校代码：10216UDC：621.39密级：公开工学硕士学位论文随机梯度下降和对偶坐标下降算法的研究与应用硕士研究生：邓卫钊导师：王金甲教授申请学位：工学硕士学科专业：信息与通信工程所在单位：信息科学与工程学院答辩日期：2016年5月授予学位单位：燕山大学ADissertationinInformationandCommunicationEngi

2、neeringTHERESEACHANDAPPLICATIONOFSTOCHASTICGRADIENTDESCENTANDDUALCOORDINATEDESCENTALGORITHMbyDengWeiZhaoSupervisor:ProfessorWangJinJiaYanshanUniversity2016燕山大学硕士学位论文原创性声明本人郑重声明：此处所提交的硕士学位论文《随机梯度下降和对偶坐标下降算法的研究与应用》，是本人在导师指导下，在燕山大学攻读硕士学位期间独立进行研究工作所取得的成果。论文中除已注明部分外不包含他人已发表或撰写过

3、的研究成果。对本文的研究工作做出重要贡献的个人和集体，均已在文中以明确方式注明。本声明的法律结果将完全由本人承担。作者签字：日期：年月日燕山大学硕士学位论文使用授权书《随机梯度下降和对偶坐标下降算法的研究与应用》系本人在燕山大学攻读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归燕山大学所有，本论文的研究内容不得以其它单位的名义发表。本人完全了解燕山大学关于保存、使用学位论文的规定，同意学校保留并向有关部门送交论文的复印件和电子版本，允许论文被查阅和借阅。本人授权燕山大学，可以采用影印、缩印或其它复制手段保存论文，可以公布论文

4、的全部或部分内容。保密□，在年解密后适用本授权书。本学位论文属于不保密□。（请在以上相应方框内打“√”）作者签名：日期：年月日导师签名：日期：年月日摘要摘要随着大数据时代的到来，模式识别中涌现出了大量高维大样本数据。对现阶段分类算法的处理速度和识别正确率均提出了挑战。本文主要研究了凸优化算法中对高维大样本数据处理相对较快的算法模型，并进行了应用实验，取得了良好效果。首先，本文分析了梯度下降法的原理及优缺点，在此基础之上，引入了随机梯度下降法，并详细分析了其求解步骤和收敛性。随后与多类SVM结合，进行了仿真实验和日常活动识别实验，均取得了良好

5、效果。其中，日常活动识别的分类正确率达到了95.18%。其次，针对梯度下降法迭代计算量大，不适合高维数据和随机梯度下降法连续随机梯度变化较大，有可能指向相反方向的缺点，又引出了半随机梯度下降法。本文详细推导了半随机梯度下降法的算法步骤，并分析了其收敛性和最优参数选取。将其与Logistic回归模型结合进行了仿真实验，并应用于精神分裂症的分类诊断问题中。实验结果表明，本文方法对精神分裂症的诊断取得了较好效果，分类正确率达到91.41%，高于随机梯度下降法，且计算速度较快。最后，本文分析了坐标下降法的基本原理，并延伸出了对偶坐标下降法。随后分析

6、了对偶坐标下降法的主要计算步骤和收敛性，并与二值Logistic回归和最大熵模型结合，分别从它们的对偶问题进行求解。然后在基准数据集和自然语言处理数据集上进行了实验，并将收敛性和正确率与其它相关算法进行对比，取得了良好效果。关键词：随机梯度下降；半随机梯度下降；对偶坐标下降；多类SVM；Logistic回归；最大熵模型-I-AbstractAbstractWiththeadventofbigdata,thefieldofpatternrecognitionhasemergedinamassofhigh-dimensionallargesam

7、pledata.Itischallengedfortheprocessingspeedandrecognitionaccuracyofclassificationalgorithms.Thispapermainlystudiedtheconvexoptimizationalgorithmforhigh-dimensionallargesampledataprocessingrelativelyquickly,andcarriedouttheapplicationexperiment.Ithasobtainedthegoodeffect.Fr

8、istly,Thispaperanalyzestheprincipleofgradientdescentmethodanditsadvantagesanddisadvantage