机器学习中矩阵低秩与稀疏近似

《机器学习中矩阵低秩与稀疏近似》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、研究生课程论文(2011-2012学年第一学期)大规模机器学习中的矩阵低秩与稀疏近似算法研究研究生：袁淦钊提交日期：2012年1月3日研究生签名：学号201010102528学院计算机科学与工程学院课程编号B0812009课程名称计算机应用技术高级专题学位类别博士任课教师郝志峰教授教师评语：成绩评定：分任课教师签名：年月日1说明1、课程论文要有题目、作者姓名、摘要、关键词、正文及参考文献。论文题目由研究生结合课程所学内容选定；摘要500字以下，博士生课程论文要求有英文摘要；关键词3～5个；参考文献不少于10篇，

2、并应有一定的外文文献。2、论文要求自己动手撰写，如发现论文是从网上下载的，或者是抄袭剽窃别人文章的，按作弊处理，本门课程考核成绩计0分。3、课程论文用A4纸双面打印。字体全部用宋体简体，题目要求用小二号字加粗，标题行要求用小四号字加粗，正文内容要求用小四号字；经学院同意，课程论文可以用英文撰写，字体全部用TimesNewRoman，题目要求用18号字加粗；标题行要求用14号字加粗，正文内容要求用12号字；行距为2倍行距（方便教师批注）；页边距左为3cm、右为2cm、上为2.5cm、下为2.5cm；其它格式请参照

3、学位论文要求。4、学位类别按博士、硕士、工程硕士、MBA、MPA等填写。5、篇幅、内容等由任课教师提出具体要求。2华南理工大学工学博士研究生课程论文大规模机器学习中的矩阵低秩与稀疏近似算法研究（Low-RankandSparseMatrixApproximationinLarge-ScaleMachineLearning）中中中文文文摘摘摘要要要：：：统计学习是当今机器学习领域的主流技术。向量空间的统计学习算法已经比较成熟，近几年来，许多研究者主要把目光放在矩阵空间上。与向量空间相比，基于矩阵空间的学习技术由于

4、缺少扩展性，会随着问题的大小在空间和时间复杂度上分别呈二次方与三次方增长，所以如何逼近一个目标矩阵而令机器学习技术更鲁棒更精确更适合于大规模的情况已成为当今机器学习领域十分热门的话题。受到支持向量机、压缩感知和非负矩阵分解等技术的启发，基于稀疏和低秩性质的假设，人们开发了一系列基于矩阵方法的机器学习算法。本文主要从矩阵的正则，分解和优化三个角度探讨机器学习中矩阵逼近问题，最后我们将会列举一些矩阵方法上的有趣和重要的应用。这些正则，分解与优化的技术包括以下几点。（i）正则技术:lp正则，l2正则，l1正则，l0正

5、则，lpq正则，trace正则，Frobenius正则，核子正则，弹性网络正则，自适应l1正则，Bregman发散正则。（ii）分解技术:非负矩阵分解，矩阵填充，鲁棒主成分分析，字典学习，稀疏主成分分析，协方差稀疏选择和低秩半正定矩阵分解。（iii）优化方法:光滑优化（共轭梯度法、截断牛顿法、有限内存的拟牛顿法），非光滑优化（邻近点方法、逼近方法、非负约束优化），简单约束优化（有梯度投影法、有效集法、坐标下降法），一般约束优化（非精确交替方向法）。1华南理工大学工学博士研究生课程论文英英英文文文摘摘摘要要要：：

6、：Statisticmachinelearningrepresentsthemainstreamofstate-of-the-arttechnologiesinthemachinelearningcommunityintheworldtoday.Vector-space-basedma-chinelearningtechniqueshavebecomemoreandmorematurenowadays,muchattentionhasbeenpaidtothematrix-space-basedstatisti

7、clearninginrecentyears.Comparedwithvector-space-basedmachinelearning,thematrix-space-basedoneislackofscalability,becauseitscalesquadraticallyandcubicallywiththesizeoftheproblemintermofmemoryandruntimecomplexityrespectively.Therefore,howtoapproximatethetarget

8、matrixandmakethemodelsmorerobust,moreaccurateandmorepracticalforlargescalelearningisbecomingaheatedtopicandthemainconcerninthemachinelearningcommunity.InspiredbytheSupportVectorMachines(SVMs),Co