基于云平台的数据挖掘并行算法研究与应用

《基于云平台的数据挖掘并行算法研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、？－？ｒ—丰Ｖ－．－—＊４击种成Ｊ：著ＵＮＩＶＥＲＳＦＥＬＥＣＴＩＨＩＮＡＩＴＹＯＲＯＮＩＣＳＣＥＮＣＥＡＮＤＴ巨ＣＨＮＯＬＯＧＹＯＦＣＩ专业学位硕±学位论文ＭＡＳＴＥＲＴＨＥＳＩＳＦＯＲＰＲＯＦＥＳＳＩＯＮＡＬＤＥＧＲＥＥ瞧巧夺Ｘ麵喝？？戸（＾＾４‘续度爲＾＾恥？…－．Ｖ＊卽＼渝、，．．―…■ｉ论文題目基于云平台的数据挖掘并巧算法硏究与应用１．ｔ－；专业学位类别工程硕生ｊ＇ｉ２０１３２２０６０６２８学号．

2、作者姓名罗晓宇■指导教师陈爱圃副教授＊■．．．：！賴临．；，Ｉ．＿．．．．巧＇．４独剑性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加Ｗ标注和致谢的地方夕ｈ论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。＂作者签名；ｆ麻车日期；年《月之ｒ日ｊ论文使用授权本学位论文作者完全了解电子科技大

3、学有关保留、使用学位论文的规定，有权保留并向国家有关部口或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可将学位论文的全部或部分内容编入有关数据库进行检索，可采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）、作者签名：Ｆ淹夺导师签名；是句－节曰期备年＾月＞曰７分类号密级UDC学位论文基于云平台的数据挖掘并行算法研究与应用（题名和副题名）罗晓宇(作者姓名）指导教师陈爱国副教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士专业学位类别工程硕士工程领域名称计算机

4、技术提交论文日期2016.3.28论文答辩日期2016.5.17学位授予单位和日期电子科技大学2016年6月答辩委员会主席评阅人ResearchandApplicationofParallelDataMiningAlgorithmsBasedonCloudPlatformAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:MasterofEngineeringAuthor:LuoXiaoyuAdvisor:ChenAiguoSchool:SchoolofCom

5、puterScience&Engineering摘要摘要随着信息技术的不断创新，数据已然呈现出爆炸式增长的态势，互联网产业正面临着从IT到DT的巨大转变。如何提高挖掘海量数据背后所隐藏知识的能力，成为现阶段的一个难题。分布式计算架构的出现为海量数据挖掘提供了新的解决方案，将传统的数据挖掘算法迁移到云平台进行并行化改进，可使得处理数据的效率大大提高。本文从传统的数据挖掘算法无法应对海量数据挖掘的缺陷出发，研究了现阶段较为热门的开源分布式并行计算框架如Hadoop、Spark等，然后将传统的数据挖掘算法进行并行化改进，并将其移植到云平台上，利用云平台提升数据挖掘算法的

6、计算能力，使之具有良好的可扩展性。主要工作有以下几个方面：（1）基于密度的聚类算法DBSCAN并行化改进。现有的并行DBSCAN算法在进行数据分区时，通常是将原始数据库划分为若干个互不相交的子空间，随着数据维度的增加，对高维空间的切分与合并将消耗大量的时间。针对这一问题，本文提出了改进的并行基于密度的聚类算法(S_DBSCAN)，并在Spark上具体实现。经实验表明，改进的S_DBSCAN算法在保证一定正确聚类结果的同时，具有更好的运行效率与可扩展性。（2）局部加权回归LWLR算法并行化改进。现有的并行LWLR算法，在进行近邻搜索时，采取的是遍历数据集中所有对象的

7、方法，使得算法的效率较低。针对这一问题，本文提出了一种基于改进近邻搜索策略的T_LWLR算法，经实验表明，改进的T_LWLR算法具有良好的可扩展性，同现有的并行KNN-LWLR算法相比，T_LWLR算法具有更短的运行时间，算法的运行效率得到了提升。（3）基于云平台的数据挖掘分析系统的设计与实现。在改进的S_DBSCAN与T_LWLR算法的基础上设计并实现一个数据挖掘分析系统。用户可根据具体的应用场景，通过简单的参数配置来进行挖掘分析工作，并在系统中对改进的算法进行了具体的应用。关键词：数据挖掘并行化Spark基于密度聚类局部加权回归IABSTRACTABSTRAC

8、TWith