资源描述：
《基于hadoop架构的分布式计算和存储技术及其应用new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第27卷第1期上海电力学院学报Vo.l27,No.12011年2月JournalofShanghaiUniversityofElectricPowerFeb.2011文章编号:1006-4729(2011)01-0070-05基于Hadoop架构的分布式计算和存储技术及其应用田秀霞,周耀君,毕忠勤,彭源(上海电力学院计算机与信息工程学院,上海200090)摘要:介绍了Hadoop架构的主要构成,通过一个实例详细阐述了Hadoop架构的MapReduce实现机制;开发了一个基于Hadoop架构职工工资统
2、计应用实例,并根据该实例分析了其在单节点模式、伪分布模式和完全分布模式应用中的运行效率.关键词:Hadoop架构;MapReduce机制;分布式文件系统中图分类号:TP333;TP316.4文献标识码:ATheTechnologyandApplicationofDistributedComputingandStorageBasedonHadoopArchitectureTIANXiuxia,ZHOUYaojun,BIZhongqin,PENGYuan(SchoolofComputerandInformationEng
3、ineering,ShanghaiUniversityofElectricPower,Shanghai200090,China)Abstract:ThekeycomponentsofHadoopareintroducedfirs,tthentheMapReduceimplementationmechanismisanalyzed.Whatismoreimportan,tanapplicationforstatisticsofemployeesalaryisdevelopedandtheefficiencycomparison
4、isgiveninthethreedifferentapplications,namely,thesinglenodemode,lpseudodistributionmodelandthefulldistributionmode.lKeywords:Hadooparchitecture;MapReducemechanism;distributedfilesystem在硬盘存储容量快速增加的同时,访问速度,么可以大大提高数据访问效率.若拥有100个磁即数据从硬盘读取的速度未能快速提高.1990盘,每个磁盘存储1%的数据,让
5、它们并行运行,年,一个普通的硬盘驱动器可以存储1370MB的那么不到2min就可以读完存储的所有数据.数据并拥有4.4MB/s的传输速度,只需5min就Hadoop架构的引入使建立大型商业集群、解决超可以读取整个磁盘的数据.20年后的今天,海量大数据量处理的瓶颈难题成为可能,改善了传统数据的出现使得使用1TB存储容量的磁盘驱动海量数据访问带来的访问效率低下的状况.本文器已很正常,由于数据传输速度在100MB/s左基于Hadoop架构设计了职工工资统计实例,并对右,需要花2.5h以上才能读取整个驱动器的数该实例在单节点模式、伪分布
6、模式和完全分布模[1,2]据.如果可以一次从多个磁盘上读取数据,那式应用中的运行效率进行了分析和比较.收稿日期:2010-07-12通讯作者简介:田秀霞(1976-),女,在读博士,副教授,河南汤阴人.主要研究方向为信息安全,数据库安全,隐私保护.Emai:ltianxxsmile@yahoo.com.cn.田秀霞,等:基于Hadoop架构的分布式计算和存储技术及其应用71下,map函数处理过程仅是数据的一个准备阶段,1Hadoop的工作原理map函数输出的是能让reduce函数在其中工作的Hado
7、op是Apache软件基金会所研发的分布数据.map函数也可以很好地去除损坏的记录,即[3,4]式基础架构,于2005年推出,它使用分布式在map函数中过滤掉丢失、不可靠或错误的气象文件系统(HadoopDistributedFileSystem,HDFS)数据.作为低层存储支持.HDFS有着高容错性的特点,以下面的几行示例作为输入数据(一些未使并将其设计部署在低廉的硬件设备上,以提供高用的列已经去除,为了符合页面宽度,用省略号表传输率来访问应用程序的数据,适合那些有着超示):大数据集的应用程序.目前国内外著名的公司如(0,00
8、67011990999991950051507004Yahoo,阿里巴巴,百度,Facebook等都建立了基于9999999N9+00001+99999999999)Hadoop的应用.下面分别从Hadoop的MapRe(106,0043011990999
