基于云计算的大数据挖掘内涵及解决方案

《基于云计算的大数据挖掘内涵及解决方案》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于云计算的大数据挖掘内涵及解决方案北京国网富达科技发展有限责任公司摘要：木文是根据大数据和传统数据的挖掘方式进行对比，根据大数据挖掘的基木内涵进行基木的分析，就提出了将大数据服务和云计算融合在一起,在木文的论述中，主要是以Hadoop大数据挖掘平台为基木的例子，对云计算的大数据挖掘内涵进行只体的阐述，促进云计算的发展。关键词：云计算；大数据挖掘；内涵；解决方案云计算、物联网和互联网都在不断的发展，随着这些技术水平的不断提升，智能终端己经被逐渐的普及，尤其是在大数据，己经成为了重要的战略资产。在大数据不断发展的过程中，有很多的

2、专家学者将大数据挖掘和云计算结合，打破了传统数据挖掘中，数据存储面临的技术瓶颈。基于云计算的大数据挖掘内涵，提出了数据的挖掘中的只体解决方案。一、大数据挖掘的简单介绍大数据挖掘主要是从类型、体量和动态方面可以快速的流转，从一些价值较低的数据中，挖掘潜在的、富有价值的信息，将这些潜在的信息应用代广大用户中，满足用户的基木需要。相对于传统的方式来说，两者的目的是一致的,均是以知识和信息的挖掘为基木的目的，从技术背景上来看，要进行数据的挖掘,就要了解大数据挖掘的基木背景，大数据挖掘与传统的数据发掘方式而言从深度上有着明显的差异。我国

3、技术在不断地进步，无论是在生活还是在工作中，都是离不开数据的，尤其是有价值的数据，需要引起我们的注意。从数据的复杂程度、数据库和互联网等发展状态来看，传统的数据挖掘技术并没有大数据挖掘的时代背景，而大数据挖掘主要是在移动智能终端、物联网和云计算中使用的，面对大数据挖掘中存在的问题，一定要将先进的技术应用在大数据挖掘上，不断的对系统进行改进、更新。大数据挖掘主要是根据云计算技术来实现的。大数据挖掘技术相对于传统的数据挖掘技术而言，在处理的对象上会存在着一些差异，传统的数据挖掘是根据某一个特定的范围内的系统中的被动数据作为利用的基

4、础。在此基础上，加入少量的Web数据，这一数据是用户主动产生的数据，从数据的类型上来看，主要是以结构化数据为主。大数据挖掘的数据类型是结构化的数据，要对Web系统和管理信息系统进行充分的管理，还要对感知信息系统和设备中自动产生的仿真数据进行研究，因此可以说在使用上更加的深入。相对于传统的数据挖掘技术而言，大数据挖掘满足体量大、来源广、类型复杂的特点，在采集方式上，不能够过于被动，必须要满足全面性的要求，吞吐量上也比较高，处理必须要及吋，但是现在的大数据挖掘还存在着一些问题,不确定性和冗余度比较高。二、基于云计算的大数据挖掘结构

5、(-)云计算大数据挖掘中存着很多的不足，因此将云计算应用到大数据挖掘中，云计算有着虚拟化、高扩展和高弹性的特点，这样就为大数据挖掘提供了一定的动力支撑。云计算的核心分为分布式并行计算和分布式文件存储。分布式存储主要是针对大数据中的分布式文件存储而言的，一般适用于在分布式、大型、海量的数据中使用，以GFS为代表的这种分布式文件系统虽然有着高拓展性，但是不适合用在存储量比较小的文件中，也容易出现单点故障的现象。现在冇些企业根据自己的业务对云计算中大数据挖掘的方案进行推算，例如Google构造的新一代引擎，在搜索上，可以实现大数据的

6、实吋交互分析，微软是将Hadoop和WindowsAzure进行了一系列的整合，还将齊能BI技术应用到软件的集成中，这样就可以将整个平台进行重新的整合，及时的实现数据的智能化更新。.其他公司则在开源Hadoop平台上进行功能的完善，如在Hadoop平台上雅虎开发了Pig，Facebook开发了Hive等。虽然以上的大数据挖掘架构不尽相冏，但是它们采用云平台与挖掘功能相融合的构建策略无明显差异。然而，在面对多领域间的数据共享和挖掘平台的适用性等问题吋，各自的解决方案还需进行优势的相互借鉴和进一步融合。（二）大数据挖掘架构基于以上

7、的研宄，笔者提出了大数据挖掘体系架构，苏融合了多种计算、存储模式并具有强大的分析挖掘功能，整体上呈现出云计算/客户端的结构。该架构自内而外分为支撑平台层、功能层、服务层，如图1所示：图1:大数据框架体系三、基于Hadoop的大数据挖掘平台为便于对大数据挖掘进行具体的分析，本文通过构建融合多功能的Hadoop人数据挖掘平台来了解各个处理环节。基于Hadoop平台融合多功能的大数据挖掘，分为数据源、大数据挖掘平台、用户层3层。数据源是由结构、半结构、非结构数据所形成的复杂处理对象;大数据挖掘平台则是基于Hadoop融合多种计算模式

8、和分析、挖掘等功能并结合实吋数据的特征进行相应地处理;用户层则是以交互的方式进行系统认知与接受服务。大数据挖掘平台中，以HDFS、HBase、MapReduce为核心的Hadoop具冇高可靠性、高扩展性、高容错性和高效性，计算模式以批处理和流处理为主，其中的MapReduce