带非光滑凸正则化项矩阵函数的加速梯度下降算法改进

《带非光滑凸正则化项矩阵函数的加速梯度下降算法改进》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：单位代码：１０３３５学号：２１５３５０４０硕士学位论文⑩中文论文题目：带非光滑凸正则化项矩阵函数的加速梯度下降算法改进申请人姓名：陈宗霖指导教师：李松教授：专业名称：应用数学：低秩矩阵恢复研宄方向所在学院：数学科学学院２０１８．１论文提交日期ＡＤｉｓｓｅｒｔａｔｉｏｎＳｕｂｍｉｔｔｅｄｔｏＺｈｅｉａｎｊｇＵｎｉｖｅｒｓｉｔｙｆｏｒｔｈｅＤｅｒｅｅｏｆｇＭａｓｔｅｒｏｆＥｎｇｉｎｅｅｒｉｎｇ⑩ＴＩＴＬＥ：ＴｈｅＯｐｔｉｍｉｚａｔｉｏｎｆｏｒ

2、Ｍａｔｒｉｘ－ＦｕｎｃｔｉｏｎｗｉｔｈＮｏｎｓｍｏｏｔｈＲｅｇｕｌａｒＴｅｒｍＡｕｔｈｏｒ：ＣｈｅｎＺｏｎｇｌｉｎＳｕｅｒｖｉｓｏｒ：ＬｉＳｏｎｇｐＳｕｂｅｃｔ：ＣｏｍｕｔａｔｉｏｎａｌＭａｔｈｅｍａｔｉｃｓｊｐＣｏｌｌｅｅ：ｈｅｊｉａｎｇＵｎｉｖｅｒｓｉｔｙｇＺＳｕｂｍｉｔｔｅｄＤａｔｅ：１．２０１８浙江大学研宄生学位论文独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研宄工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成

3、果，也不包含为获得浙江大学或其他教育机构的学位或证书而使用过的材料一同工作的同志对本研究所做的任何贡献均已在。与我论文中作了明确的说明并表示谢意。学位论文作者签名：签字日期：左年月日》７学位论文版权使用授权书本学位论文作者完全了解浙江大学有权保留并向国家有关部门或机构。本送交本论文的复印件和磁盘，允许论文被査阅和借阅人授权浙江大学可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影印。、缩印或扫描等复制手段保存、汇编学位论文（保密的学位论文在解密后适用本授权书）学位论文作者签名：导师签名：％％

4、签字日期：年月日签字日期：年月日Ｘ；｛／＾目录１绪论３１．１内容安排３２背景４．２１多任务学习４４［］２．２矩阵填充７６［］３问题分析７３．１梯度下降法１０３．２加速梯度下降法１１３３１２．收敛速率４模型改进：不动点迭代延拓算法１６５数值实验１８６总结与展望２０７参考文献２１８致谢２４摘要带非光滑凸正则项的矩阵函数优化问题是一类在许多领域都有应用的问题，目前已有众多关于这类问题的工作。对于这类问题，人们通常会利用梯度下降法对光滑函数进行近似，得到原函

5、数的近似函数列，近似函数列的优化问题为＇线性约束核范数最小化问题（ＸｚｎｅａｒＺｙＣｏｎｓ纟ｒａｉｎｅｄ施ｄｅａｒｉＶｏｒｍ在假设线性约束核范数最小化问题可以快速精确恢复的前提下，梯度下降法一样的０的收敛速度可以达到与光滑问题，而在１中求解向量函数的优化（］０丨问题之时，使用加速梯度下降法进行了加速，收敛速率可以达到〇。在（吾）前人的工作中使用梯度下降法解决这类矩阵优化问题之时，通常在求解线性约束核范数最小化问题之时采用的是半定规划方法４５］或奇异值分解法间，［它们在计算大型矩阵之时代价较大一，本文针对这点选用不动点延拓迭代算

6、＇法Ｃ７ｏｎｆａｍ／，ａｆｉｏｎＪ１７加以改进，改进之后的算法可以更有效地针对［］较大的矩阵计算情况。关键词：非光滑正则化项，矩阵函数，加速梯度下降法，线性约束核范数最小化，不动点迭代延拓算法ＡｂｓｔｒａｃｔＴｈｅｍａｔｒｉｘｆｕｎｃｔｉｏｎｗｉｔｈｎｏｎｓｍｏｏｔｈｒｅｇｕｌａｒｉｔｅｍｈａｓｍａｎｙａｐｐｌｉｃａｔｉｏｎｓ，ｔｈｅｒｅｗｅｒｅｓｏｍｅｃｏｎｃｌｕｓｉｏｎａｂｏｕｔｔｈｅｖｅｃｔｏｒｆｕｎｃｔｉｏｎｗｉｔｈｎｏｎｓｍｏｏｔｈｒｅｇｕｌａｒｉｔｅｍｉｎ３３．］［？ｌｓ

7、ｏｌｖｉｎｔｈｅｓｅｒｏｂｌｅｍｓｅｏｅｗｏｕｌｄｌｉｋｅｔｏｕｓｅｒａｄｉｅｎｔｄｅｓｃｅｎｔｍｅｔｈｏｄｔｏｃｏｎＷｈｅｎｇｐ，ｐｐｇ？ｖｅｒｔｔｈｅｐｒｏｂｌｅｍｉｎｔｏｌｉｎｅａｒｌｙｃｏｎｓｔｒａｉｎｅｄｎｕｃｌｅａｒｎｏｒｍｍｉｎｉｍｉｚａｔｉｏｎｐｒｏｂＳｕｏｓｉｎｔｈａｔｌｉｎｅａｒｌｃｏｎｓｔｒａｉｎｅｄｎｕｃｌｅａｒｎｏｒｍｍｉｎｉｍｉｚａｔｉｏｎｒｏｂｌｅｍｃａｎｂｅｌｅｍ．ｐｐｇｙｐ？ｓｏｌｖｅｄｅｘａｃｔｌｙａｎｄａｃｃｕｒａｔｅｌｙｒａｄｉｅｎｔｄｅｓｃｅｎｔ

8、ｍｅｔｈｏｄｉｓａ