欢迎来到天天文库
浏览记录
ID:27302739
大小:63.12 KB
页数:5页
时间:2018-12-02
《云计算平台上的数据管理技术与应用》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库。
1、云计算平台上的数据管理技术与应用摘要:在信息技术飞速发展的今天,云计算平台得到了广阔的发展空间。本文中,笔者立足实践,分析了云计算平台上的数据管理技术,探究了云计算平台上数据管理技术的应用,以期云计算平台的作用能够得到最大的发挥。关键词:云计算平台;数据管理技术;应用中图分类号:TP3文献标识码:A文章编号:1009-3044(2017)08-0031-01信息时代背景下,信息技术、互联网己经被广泛地运用到社会的各个领域,而云计算平台随之产生。元计算平台不仅具有储存数据的功能,还具有计算数据节点的能力,它主要由三部分内容组成,分为为:
2、数据管理、数据存储、分布式计算。在新时期背景下,云计算平台需要具有非常强大的数据存数功能,因此当前云计算平台往往会采用分布式结构化数据存储系统。简单来讲,就是将每一个数据复制成为多个副本,且将每一个副本都放置在分布式系统上。1数据管理技术云计算平台上往往会储存大量的数据,并且数据会时时刻刻都发生变化,换言之,云计算平台上,一般都是新的数据替换旧数据的过程,可以称之为一个动态的数据库。云计算平台的数据管理一般会采取“数据领域中储存”的管理模式,具体来讲,就是将表按照列进行划分存储。例如,Bigtable是由Goo#e开发的分布式储存系统
3、,它并没有具有任何全新的技术,而是将之前的技术进行了融合,虽然它具有与数据库有相似之处,但并非真正意义上的数据库。Bigtable数据的模型具体如图1。通过图1可以发现,Bigtab〜中数据的排列顺序是按照关键词的字典顺序进行排列的,同时还对行进行了动态的划分,更能够将记录存放于记录板中。另外,Bigtable中的存储权限控制是由列组粒度中进行的,而列组往往有若干个列组合而成。每一个表示数据不同版本的时间就是一个六十四位的证书。2数据管理应用2.1Hadoop分布式文件系统HDFS—般会采用master/slave架构,它的集群往往是
4、由Namenode、Datanode两部分组成。该系统中,Namenode的主要责任就是文件系统的namespace、客户端对文件的访问,可以说是该系统的中心服务器;Datanode的主要责任就是管理每个节点上附带的储存,而且该系统中每一个节点就会有一个对应的,且存在于集群中。?哪诓拷嵌壤唇玻?每一个文件都会分为block,可以是一个也可以是多个,但是却都会储存到Datanode的集群中。进行“namespace”操作就是某个block具体到“Datanomde”节点的映射,同时还必须要认清楚Datanode是在namespuce的指
5、导下进行工作的,主要是复制、保存或者删除block。通过对比BDFS与其他文件系统发现,任何的文件系统,用户都可以穿件数据自己的目录,并根据自己的实际需求进行创建、删除、重命名等操作,但是HDFS既不支持访问权限,也不支持userquoter,更不支持与link进行连接。在具体的操作过程中,Namenode对namespuce具有维护作用,因为无论任何因素影响下,文件系统namespace的任何操作都会被Namenode—一记录下来,而且特别清晰。另外,在具体的应用过程中,还能够根据实际的需求,设置HDFS保存文件副本的数据。2.2M
6、amenode编程Mamenode是一种计算模型,对于HAdoop来讲,它是核心的计算模型。Mamenode能够将抽象、复杂、大规模的计算转化成为Map、Reduce两种函数,它是一个简单、神奇且威力巨大的模型。运用Mazenode的过程中,该编程中出现的其他复杂问题,往往也都是由Mazenode进行处理,因为这是Mamenode的责任。运用Mazenode模型时,能够减少程序员的工作难度,它往往就是便携一个简单的分布式并行程序,整个过程中程序员的编码工作都是为了实现Map和Reduce函数。程序框架:ClassMR,ClassMap
7、---{}ClassReduce…{}main(){JobConfconf=newJobConf("MR.class");confsetInpmPath(,,the_path_of_HDFSM);conf.setMapperClass(Map.class);conf.setReduceClass(Reduce.class);JobClient.runJob(conf);}}3结束语综上所述,当前云计算平台的数据管理系统已经得到了广泛的应用,但是由于受到各种因素的影响,并未取得理想的效果。通过调差,其中数据管理技术不能够满足云计算平台的
8、需求,更未能够应付云计算环境下带来的挑战,导致云计算平台的数据管理系统的优势不能够得到充分发挥。要想充分发挥云计算平台数据管理系统的优势,必须要坚持不懈,在实践过程中研究与创新,从而使其更为广泛的应用于社会的各个领域,如
此文档下载收益归作者所有