关联规则推荐的高效分布式计算框架

《关联规则推荐的高效分布式计算框架》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码：10327学号：1120150612硕士学位论文关联规则推荐的高效分布式计算框架院系：信息工程学院专业：计算机软件与理论研究方向：数据挖掘姓名：李昌盛指导教师：曹杰完成日期：2018.5.30答辩日期：2018.5.30ANEFFICIENTDISTRIBUTED-COMPUTINGFRAMEWORKFORASSOCIATION-RULE-BASEDRECOMMENDATIONADissertationSubmittedtoNanjingUniversityofFinanceandEconomicsF

2、ortheAcademicDegreeofMasterofEngineeringBYLiChangshengSupervisedbyProfessorCaoJieSchoolofInformationEngineeringNanjingUniversityofFinanceandEconomicsMay2018学位论文独创性声明本论文是我个人在导师指导下进行的研究工作及取得的研究成果。论文中除了特别加以标注和致谢的地方外，不包含其他人或其它机构已经发表或撰写过的研究成果。其他同志对本研究的启发和所做的贡献均已在

3、论文中作了明确的声明并表示了谢意。作者签名：日期：学位论文使用授权声明本人完全了解南京财经大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其它复制手段保存论文。保密的论文在解密后遵守此规定。作者签名：导师签名：日期：南京财经大学硕士学位论文摘要从上个世纪90年代起，推荐系统就受到了学术界和工业界的广泛关注与研究，并成为一项炙手可热的研究议题。经过近十余年发展，推荐系统在逐步在电子商务网站、社交平台、及视频音乐网站上得

4、到广泛应用。随着研究的不断深入，针对不同的应用场景产生出了多种推荐方法，目前主流的推荐方法主要分为以下几种，即:基于关联规则的推荐、协同过滤推荐、基于内容的推荐、混合方法推荐等。其中关联规则推荐模型因其推荐结果可以快速更新且具有良好的可解释性，而成为大量电子商务网站的商用推荐引擎。目前已有的关于关联规则推荐的工作大多聚焦于如何挑选高质量规则，以提升推荐精度。然而，关联规则数量庞大，且用户并发访问量亦通常极大，如何快速匹配用户浏览记录和关联规则库，为海量在线用户产生近实时推荐，成为制约关联规则推荐能否胜任真实电子

5、商务网站推荐的重要因素。为此，本文研究关联规则推荐的效率问题，提出服务于高效关联规则推荐的分布式计算框架，将规则挖掘与推荐计算无缝衔接。本文在现有研究的基础上，结合Spark平台的优势，对具有多用户、大规模频繁模式的推荐计算的场景进行深入研究。具体而言，本文的主要工作包含以下几个方面：1.本文提出一个面向关联规则推荐的高效分布式计算框架。该框架包含频繁模式挖掘和关联规则推荐两个模块，并通过相关策略将两个模块合理衔接，同时能够无缝融合已有的推荐计算方法。2.本文提出有序模式森林的数据结构，用于压缩存储频繁模式，接

6、着通过设计一个高效的基于有序模式森林的路径搜索算法，将传统基于关联规则推荐中的候选规则挖掘转化为有序模式森林上的路径搜索过程，以提高推荐分值的计算效率，与此同时该算法兼容已有研究所提出的推荐分值计算方法，保证推荐的精度，提高框架的适用性。3.本文在详细分析影响分布式计算框架中两个模块任务执行时间因素的基础上，提出一个负载均衡数据分割方法，并同时降低分布式频繁模式挖掘与推荐计算中的任务最迟完成时间，提高整体框架的执行效率。4.对本文提出的分布式计算框架进行效率和负载均衡两方面的验证，实验表明基于有序模式森林的推荐

7、计算比传统穷举匹配策略降低6倍以上时间，同时所提出的分布式计算框架可随计算节点数量达到近线性扩展。关键字：推荐系统；关联规则；频繁模式；FP-growth算法；Spark；负载均衡I南京财经大学硕士学位论文ABSTRACTSincethe1990s,recommendersystemshavealreadyattractedmuchattentionfrombothacademicandindustrialcommunities.Afterdecadesofdevelopment,recommendersyst

8、emshavebeenwidelyappliedtodiversescenariosfrome-commercesites,tosocialplatforms,video/musicwebsites,etc.Basedonhowrecommendationsaremade,recommendersystemscanbeclassifiedintoanumberofcategories,