hadoop在商业智能中的研究及应用

《hadoop在商业智能中的研究及应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码：10289分类号：TP301.6密级：公开学号：132070001江苏科技大学硕士学位论文Hadoop在商业智能中的研究及应用研究生姓名邱桂导师姓名闫仁武申请学位类别工学硕士学位授予单位江苏科技大学学科专业模式识别与智能系统论文提交日期2015年12月30日研究方向大数据和数据挖掘论文答辩日期2016年03月26日答辩委员会主席张再跃评阅人盲审盲审2016年03月26日分类号：TP301.6密级：公开学号：132070001工学硕士学位论文Hadoop在商业智能中的研究及应用学生姓名邱桂指导教师闫仁武副教授江苏科技大学二O一六年三月AThesisSubmittedinF

2、ulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringResearchandApplicationofHadoopinBusinessIntelligenceSubmittedbyQiuGuiSupervisedbyYanRenwuJiangsuUniversityofScienceandTechnologyMarch,2016江苏科技大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的

3、作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：年月日摘要随着互联网信息技术的高速发展，全球进入大数据时代。伴随着这些急速膨胀的数据规模，决策者以及客户在海量数据中如何获取有效信息是当前需要解决的首要问题。商业智能领域的发展使得企业将数据转化为知识成为了可能，其中推荐算法的出现则构建了一条产品、信息与用户之间的有效通道。此外，Hadoop平台研究的迅速发展使得利用分布式技术处理大数据分析更为有效和方便。本文通过对当前个性化推荐算法的研究，利用灰色系统的理论知识，结合分布式平台处理大数据的方法，提

4、出一种基于灰色关联分析的分布式协同过滤推荐算法。首先，本文对协同过滤推荐算法进行研究，主要介绍了基于用户的、基于项目的和基于模型的这三种协同过滤推荐算法，对这三种协同过滤推荐算法的实现进行研究；其次，对灰色系统中的灰色关联分析进行研究，详细介绍了不同的灰色关联度模型的特征和计算方法；然后，通过对Hadoop生态系统的重点探讨，研究分布式系统的存储和读写原理，分布式数据库的设计原理，并利用MapReduce研究分布式系统的并行化计算和调度机制。根据上述理论知识的研究，本课题将灰色关联分析和分布式理论结合，给出一种基于灰色关联分析的分布式协同过滤推荐算法，该算法解决了当前协同过滤推荐

5、算法面临的评分矩阵信息因素不完全和不确定性，以及数据稀疏性和当数据规模较大时出现的计算瓶颈及可扩展性等问题。在文章最后，设计并实施Hadoop分布式系统和分布式数据库服务器集群，利用该集群实现了本文所提出的算法。实验表明，基于灰色关联分析的分布式协同过滤推荐算法可以有效地实现大规模数据的推荐，与传统的CFR算法相比平均绝对误差有一定的下降，而且通过增加Hadoop集群的数据节点可以解决数据可扩展性的问题，同时，该推荐算法的可行性也是Hadoop在商业智能上有效应用的体现。关键词商业智能；灰色关联分析；协同过滤推荐算法；分布式系统；HadoopIAbstractWiththerap

6、iddevelopmentofinformationtechnologiesofInternet,ithascomeintotheageofbigdatanowadays.Alongwiththerapidexpansionofdatasize,howtogetthevalidinformationwhenthedecisionmakersandcustomersarefacingthesehugeamountsofdatabecomestheprimaryproblem.BusinessIntelligence(BI)developmentmakesitpossibletotu

7、rnthedataintoknowledge,andtherecommendationalgorithminBIalsobuildsaneffectiveconnectionamongproducts,informationandcustomers.Inaddition,thedevelopmentofHadoopplatformresearchingmakescontributiontousingdistributedmethodstoanalyzebigdatamoreeff