基于图计算模型的矩阵分解并行化研究

《基于图计算模型的矩阵分解并行化研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ZSTUZhejiangSci-TechUniversity硕士专业学位论文ProfessionalMaster’sThesis中文论文题目:基于图计算模型的矩阵分解并行化研究英文论文题目：ResearchofMatrixFactorizationParallelizationBasedonGraphComputingModel专业学位类别：工程硕士专业学位领域：电子与通信工程作者姓名：戴世超指导老师：包晓安完成日期：2016年04月14日漸江理工大学学位论文独创性声明本人人在导师指导下进行的研究工声明所呈交的学位论文是本特别加标注和致谢的地方外，论

2、作及取得的研究成果。除了文中文中不包含其他人已经发表或撰写过的研究成果，化不智含为获得渐江理工大学或其他教育机构的学位或征书而使用边的材料。与我一同工作的同志对本巧究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：签字曰期；心Ｕ年丘月＾曰学位论文版权使巧搔权书本学位论文作者完全了解逝里理王丈董有权保留并向国家有关。萄口或机构送交本论文的复印件和磁盘，允许论文被查阅和借阅太人姆权渐江巧工大学可Ｌ义将学位论文的全部或部分内容编入有关教据库进行检索和传播，可Ｗ采用影巧、缩印或扫描等复制手段保。存

3、、汇编学位论文（保密的学位论文在解密盾适用本授权书）学位论文作者签名：＇一曰签字日期：、右年／月２石导师签知。曰期／６年日签字：〇＾月浙江理工大学硕士学位论文基于图计算模型的矩阵分解并行化研究摘要随着计算机和信息技术的不断普及应用，行业应用领域计算系统的规模日益增大，数据规模也急剧增大。特别是在社交网络和商品推荐场景中，因为这些对象和数据往往是以图的形式展现出来，因此图计算系统在机器学习和数据挖掘中的重要性越来越凸显出来，已经迅速成为工业界和学术界的研究热点。矩阵分解是推荐系统中目前常用的一种推荐手段，经常用来做用户的偏好预测。然而在实际应

4、用场景中实现这种矩阵分解推荐算法会需要消费大量的时间，不能满足目前商业方面的需求，同时矩阵分解在实现过程也会遇到需要多次迭代的计算问题。针对目前这些问题，本文创新性提出了结合分布式图计算平台并行化实现可以有效的解决这些问题。GraphX图计算框架的出现正好迎合了这一需求。具体研究包括以下几个方面：（1）针对数据并行系统，像Spark和MapReduce等计算框架在面对数据内部关联度很高的计算场景时，这些并行计算框架会面临巨大的挑战，会带来大量的计算和数据迁移，严重消耗集群资源。因此文本提出利用GraphX图计算框架对数据进行更好的组织，充分挖掘图结构的特点，优

5、化计算框架以达到较好的分布式的计算性能。（2）针对矩阵分解推荐算法在实际应用场景实现的问题。本文深入研究了两种基于协同过滤的矩阵分解推荐算法，即随机梯度下降(SGD)和交替最小二乘法(ALS)。因此提出了利用GraphX分布式图计算框架将其并行化实现并进行二者之间的对比。实验结果分析表明，利用GraphX图计算框架将矩阵分解的两种优化算法并行化实现并进行二者对比，发现ALS算法明显要优势于SGD算法，因此利用基于Spark的GraphX图计算框架来实现矩阵分解并行化，相比传统的MapReduce计算图模型无论是在遇到多次迭代问题上还是执行效率上都有着很明显的优

6、势提升。关键词：MapReduce；Spark；GraphX图计算框架；矩阵分解；推荐系统IV浙江理工大学硕士学位论文基于图计算模型的矩阵分解并行化研究AbstractWiththeincreasingpopularizationofcomputerandinformationtechnology,thescaleofthecomputingsystemisincreasingandthescaleofdataisincreasingrapidly.Especiallyinthesocialnetworkandtherecommendationinthesce

7、ne,Becausetheseobjectsanddataisoftenintheformofgraphdisplay,Asaresult,theimportanceofgraphcomputersysteminmachinelearninganddataminingisbecomingmoreandmoreimportant,hasrapidlybecomeahotresearchintheindustryandacademia.MatrixFactorizationisoneofthecommonlyusedmethodsinrecommendersyst

8、em,whichisoftenused