探究基于云计算的大数据挖掘平台.pdf

《探究基于云计算的大数据挖掘平台.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、技经济市场探究基于云计算的大数据挖掘平台郭杰锋，王琳琳(1．东北石油大学秦皇岛分校计算机中心，河北秦皇岛066000；2．大庆油田有限责任公司试油试采分公司，黑龙江大庆163000)摘要：云计算技术具备动态资源分配和调度、虚拟化和高可用性的特点，能够克服传统数据挖掘技术速度慢、效率低和能耗高的弱点，有效的降低成本，提高数据挖掘效率。文章探讨了一种基于云计算的并行大数据挖掘平台的应用，并探讨基于云计算的大数据挖掘系统构成、存在问题及应对措施。关键词：云计算；大数据；挖掘；平台1云计算在大数据挖掘中的重要性‘据，实现了海量

2、数据的存储、分析、处理、挖掘，向子系统提供可近年来，随着数据量的急剧增加．数据的低价值密度特性靠，高性能的数据。其核心部分就是HDFS——一种建立在大越发显现出来，大数据时代的到来，凸显了数据的重要性。但是型集群上的可靠存储大数据集的文件系统和MaDReduce——数据大价值必须通过数据挖掘才能从低价值密度的数据中发一种简化的分布式程序设计模型用于处理和生成大数据集。现其潜在价值。数据挖掘通常需要遍历许多数据获得相关的统3基于云计算的数据挖掘平台的问题和建议计信息，用于求解或优化模型参数，在大规模数据上进行频繁基于云计

3、算的数据挖掘平台是云计算和数据挖掘的完美的数据访问需要耗费大量运算时间。数据复杂度和系统计算能结合，融合了云计算的动态资源分配高效性和强大的数据挖掘力有限的矛盾日益突出，传统的单机系统速度慢、效率低、能耗能力，二者相辅相成、相得益彰。基于云计算的数据挖掘平台结高，而云计算平台却具备动态资源分配和调度、虚拟化和高可构复杂、内容丰富。云计算综合运用了分类算法、聚类分析、关用的特点，能够满足挖掘计算的性能要求。大数据挖掘平台的联规则、基于模式的相似性查找和时间序列或趋势发现和分析建立和发展离不开云计算技术。云计算就是将复杂的

4、计算任务等多种算法对数据进行挖掘，达到良好的数据挖掘效果。云计分布在大量计算机构成的”云”中，将计算能力、存储能力以及算为数据挖掘提供强大资源分配上的技术支持，而数据挖掘能应用服务能力按需分配给用户，提高数据获取的效率。而数据够促进云计算的数据计算和管理能力大幅提高。基于云计算的挖掘则是将大量的、不完全的、有噪声的、模糊的、随机的实际数据挖掘平台系统一般包括数据管理子系统、账户管理子系应用数据经过加工处理，筛选优化后，提取出隐藏在其中的有统、数据挖掘子系统、挖掘算法管理子系统四个子系统，负责不应用价值的信息。由于数据的

5、大量和复杂性，这就需要用到巨同的任务，彼此之间结合紧密。基于云计算的数据挖掘平台还大的存储运算量。而基于云计算技术的数据挖掘平台就能够很包括一个服务器群和一个数据库群。好的解决这一问题。它能够有效的控制运算和存储成本，提升对此，在建立数据挖掘云服务平台时。一定要注重其专业性数据挖掘效率，进而打破传统数据挖掘的瓶颈限制。和个性化，因地制宜，根据不同的服务对象构建相应的服务平2基于云计算的并行数据挖掘平台台。而且在数据挖掘使用的算法的选择上也要尽可能的考虑其由于数据复杂多样，数据挖掘和处理需要高速、高效，因此通用性，要可查

6、、可调、可视，对一些隐私数据要加大安全防护。需要并行计算来实现大规模的计算，而云计算平台实质上就是目前基于云计算的数据挖掘平台系统的研发和应用已经一个虚拟资源池，通过多个虚拟机和应用将资源按需分配给用取得了一定的成果。这一类系统具有其独特的高效、处理数据户，提高资源利用率。基于云计算的并行数据挖掘平台的架构量大的优势，但是由于云计算技术目前还处在发展的初级阶是利用了数据库分片的思想，将数据分片后存储在各个分节点段，还面临着许多问题和挑战．既要克服云服务软件的安全性中，再由一个中央单元像一台中央空调一样来负责各个节点信问

7、题，还要克服数据挖掘算法和结果的不确定性。因此在构建息的汇总和维护。而各个分节点的算法是不固定的，也就是说运计算基础上的数据挖掘平台时，要注意与实际结合．注意设不同的部分可以使用不同的算法，应用在并行分布式环境中，计的个性化以及通用性，加大对隐私数据的加密保护。就更加灵活和高效，而这些是传统的数据挖掘平台所不具备的。基于云计算的并行数据挖掘平台能够利用云计算的海量存参考文献：储和并行计算能力解决大数据的海量和高效性要求。目前基于⋯郑妙师．基于云计算的数据挖掘平台架构及其关键技术研究卟信息通信．2014(08)．云计算的

8、并行数据挖掘平台的研究已经取得了一部分成果。何[2]丁岩，杨庆平，钱煜明．基于云计算的数据挖掘平台架构及其关键技术清等开发了一种基于云计算的并行分布式大数据挖掘平台研究Ⅱ】．中兴通讯技术，2013(01)．，PDMiner(ParallelDistributedMiner)．运用云计算的手段，实现f3】程琳．基于云计算的数据挖掘系