基于spark平台的大矩阵lu分解及求逆算法的研究与实现

《基于spark平台的大矩阵lu分解及求逆算法的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、１０级：公开学校代码：００４密、交道乂肇ＢＥＩＪＩＮＧＪＩＡＯＴＯＮＧＵＮＩＶＥＲＳＩＴＹ硕±学位论文基于Ｓｐａｒｋ平台的大矩阵ＬＵ分解及求逆算法的研究与实现作者姓名赵祥宇学科专业软件工程；指导教师卢韦教授？＊培养院系软件学院．化．；＇．：Ｉ刖；’、杂襄藝ｒ函＊ｆ＂满３讀－Ｗ巧＾＇—：＊ｗｆｉ匯巧团ｉ＇Ｉ；．．ｆ、、韩ｌｉ，，Ｙ齡交道乂攀硕±学位论文基于Ｓｐａｒｋ平台的大矩阵ＬＵ分解及求逆算法的研究与实现ＲｅｓｅａｒｃｈａｎｄＩｍｐｌｅｍｅｎｔ

2、ａｔｉｏｎｏｆａＬａｒｇｅＳｃａｌｅＭａｔｒｉｘＬＵＤｅｃｏｍｐｏｓｉｔｉｏｎａｎｄＩｎｖｅｒｓｉｏｎＡｌｇｏｒｉ化ｍＢａｓｅｄｏｎＳｐａｒｋＰｌａｔｆｂｒｍ作者：赵祥宇导师：卢幸教授北京交通大学２０１６年６月学位论文版权使用授权书本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特授权北京交通大学可＾心将学位论文的全部或部分内容编入有关数据库进行检索，提、、。供阅览服务，并采用影印缩印或扫描等复制手段保存汇编Ｗ供査阅和借阅同意学校向国家有关部口或机构送交论文的复印件和

3、磁盘。学校可为存在馆际合作关系的兄弟商校用户提供文献传递服务和交换服务。（保密的学位论文在解密后适用本授权说明）学位论文作者签名：导师签名：签字曰期；年（月＾曰签字曰篇年＾月又曰／１１学校代码：０００４密级：公开北京交通大学硕±学位论文基于Ｓｐａｒｋ平台的大矩阵ＬＵ分解及求逆算法的研巧与实现ＲｅｓｅａｒｃｈａｎｄＩｍｐｌｅｍｅｎｔａｔｉｏｎｏｆａＬａｒｇｅＳｃａｌｅＭａｔｒｉｘＬＵＤｅｃｏｍｏｓｉｔｉｏｎａｎｄＩｎｖｅｒｓｉｏｎＡｌｏｒｉｔｈｍＢａｓｅｄｏｎＳａｒｋＰｌａｔｆ

4、ｏｒｍｐｇｐ作者姓名１３１２１６９１：赵样宇学号：导师姓名；卢華职称：教授学位类别；工学学位级别；硕±学科专业：软件王程研究方向：软件工程北京交通大学２０１６年６月致谢本论文研充工作得到了国家自然科学基金项目（Ｎｏ．６１２７２３５３）的资助，首先在此表示感谢。本论文的研究工作是在导师卢羊教授的亲切关怀和悉也指导下完成的。卢幸老师严肃的科学态度、严谨的治学精神深深感染和激励着我；不倦的工作热情和科。学的工作方法给了我极大的帮助和影响在这兰年的时间里，卢幸老师在学习上和生活上都给予了我很大

5、的关也和帮助，在此谨向卢韦老师致崇高的敬意和最衷屯、的感谢。、本论文在研巧过程中，包尔固德老师邢薇薇老师提供了巨大帮助。为论文的思路及撰写工作提出了许多宝贵的意见和建议，拓宽了我的研巧思路，在此表示由衷的感谢。软件学院１３０１班的同学在论文的研究工作中给予了热情的帮助，在此向他们表示我的感激之情。一们、，我才能屯在学校完成我的学业，在生感谢我的家人和朋友，因为有了你活上更加从容地迎接困难和挑战。北京交通大学硕±学位论文摘要在很多计算机科学的研巧领域中，矩阵求逆运算都是基本模块，在机器学习、。国像处理等领

6、域有着广泛的应用随着计算机科学的不断发展，在当今这个信息爆炸的时代，计算机处理的数据量变得越来越大。因此，矩阵求逆算法的并行化逐渐成为了矩阵操作领域的热口研巧方向。随着Ｓｐａｒｋ框架的逐渐成熟，基于Ｓｐａｒｋ平台的机器学习算法也逐渐成为时下、的研巧热口。当前矩阵求逆的并行算法主要通过Ｗ下几种方式来进行：ＬＵ分解ＳＶＤ分解、ＱＲ分解。因为ＬＵ分解法在并行化方面相较于ＳＶＤ分解法Ｗ及ＱＲ分解法有着一定的优势，所本文选用ＬＵ分解法来求解矩阵的逆矩阵。通过分析Ｓ台的计算特点Ｗ及ＬＵ算法的特性一ｐａｒｋ平，本文提出了种基于Ｓｐａｒ

7、ｋ的并行ＬＵ一分解及求逆方法。该方法主要包括Ｗ下两个步骤；首先，提出了种基于Ｓｐａｒｋ平台的大矩阵ＬＵ分解算法来求解原始矩阵的ＬＵ分解。该算法基于并行的ＬＵ分解算法将矩阵分解为可Ｗ适配到内存中的小块迭代地进行计算，巧将结果进行整合来求解矩阵的ＬＵ分解。然后根据分解得到的下Ｈ角矩阵Ｗ及上Ｈ角矩阵，运用矩一阵的分块原理，提出了种迭代式王角矩阵求逆算法，将两个三角矩阵求逆并相乘来求解原始矩阵的逆矩阵。在算法的实现过程中，结合Ｓｐａｒｋ框架的优缺点，提出了王点优化算法效率的方案，包括：１将巧法中频巧用到的中间结果缓存到内存（

8、）中，Ｐ）调优ｓｈｕｆｌｅ过程执行效率Ｗ及０）采用非递归方式实现算法。本文提出的基于Ｓｐａｒｋ平台的大矩阵ＬＵ分解及求