基于Hadoop的空间co-location正负模式并行挖掘算法研究.pdf

《基于Hadoop的空间co-location正负模式并行挖掘算法研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号密级公开编号碎士巧究嗲像俗式题目基于的空间正学院（所、中心）急学完专业名称计算机系统结构研究生姓名张丹丹学号异师姓名王丽珍职称教授年月扉页论文独创性声明及使用授权本论文是作者在导师指导下取得的研宄成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，不存在剽窃或抄袭行为。与作者一同工作的同志对本研宄所做的任何贡献均已在论文中作了明确的说明并表示了谢意。现就论文的使用对云南大学授权如下：学校有权保留本论文（含电子版），也可以采用影印、缩印或其他复制手段保存论文；学校有权公布论文的全部或部分内容，可以将论文用于查阅或借阅服务；学校有权向有关机

2、构送交学位论文用于学术规范审查、社会监督或评奖；学校有权将学位论文的全部或部分内容录入有关数据库用于检索服务。内部或保密的论文在解密后应遵循此规定）摘要摘要传统的模式挖掘算法仅能挖掘频繁正模式，这些模式中的空间特征实例在空间频繁关联。然而，在挖掘空间模式时存在着这些虽达不到给定阈值但特征实例之间又有很强的负相关性的模式，即负模式，可能包含非常有价值的信息，对于决策的作用不容忽视。因此，人们开始将研究的焦点转移到负模式的挖掘上来，并在频繁正模式挖掘的基础上提出了挖掘有趣负模式的算法。但是因为负关联规则挖掘和空间正模式挖掘的算法难以被简单地应用到负模式的挖掘中，且从空间数据集中导出

3、的负模式数量极大，在模式挖掘过程中十分耗时，所以负模式的挖掘很有难度。而基于平台的并行计算框架，因其并行处理功能，较高的鲁棒性和可扩展性，以及开源的方便性，为负模式挖掘的难点提供了一个极好的解决途径。因此，本文提出了一个基于并行的，可同时挖掘频繁正模式和有趣负模式的算法。实验证明，该并行算法能很好的解决负模式挖掘存在的问题，且在空间和时间效率方面能获得较好的效果。内容如下：首先，分析了模式挖掘的研宄现状，介绍了其研究内容及成果，以及空间正负模式挖掘的一些相关概念。其次，分析负模式挖掘的意义、价值和难度，指出提出并行挖掘算法的原因。接着，详细的介绍了提出的并行挖掘算法，该并行挖掘

4、算法同时挖掘空间频繁正模式和有趣负模式，以及在挖掘过程中的数据划分和分配算法。并深入的分析了该并行算法的正确性及其空间和时间复杂度。然后，在真实数据集上进行了大量实验，并分析了不同参数对并行算法性能的影响。最后，简要总结了论文的主要工作，并讨论了以后可继续研宄的内容和方向。关键词：频繁正模式；负模式；并行挖掘；数据划分AbstractAbstractThetraditionalco-locationpatternminingalgorithmcanonlyminetheprevalenceco-locationpaterns,namelytheinstancesofspatia

5、lfeaturesassociatefrequentlyinspace.However,duringtheminingofspatialco-locationpatterns,therearesomepatternswhicharenotuptoagiventhresholdbuthavestrongnegativecorrelation,whichisnegativeco-locationpattern.Theymaycontainvaluableinformationandtheirinfluenceonmakingdecisioncannotbeignored.There

6、fore,researchersshifttheirfocusonthestudyofnegativeco-locationpatterns,andproposethealgorithmofminingnegativeco-locationpatternsonthebasisontheminingofprevalenceco-locationpatterns.Becausethealgorithmofminingnegativeassociationrulesandprevalenceco-locationpatternscannotbesimplyappliedtothemi

7、ningofnegativeco-locationpatterns,andthenumberofnegativepatternsderivedfromspatialdatasetswillbehugeandtheminingprocesswillbetime-consuming，，，，，基于的空间负模式并行挖掘算法研究，，：目录目录第一章绪论研宄背景和意义国内外研究现状本文研宄内容本文组织结构第二章计算平台计算平台简介框架介绍框架介绍为什么要选择计算平台什么场景下使用计算平台集群的搭建软硬件