基于云计算异构环境的Hadoop性能分析.pdf

《基于云计算异构环境的Hadoop性能分析.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、学术探讨·基全巧目基于云计算异构环境的Hadoop性能分析姚晔常广炎(辽宁行政学院，辽宁沈阳110161)[摘要]针对当前云服务发展中遇到的数据量急速增加为后台数据中心带来的数据处理问题，本文实施了Hadoop的}生能测试。首先对云计算异构环境的Hadoop性能进行了描述，其次对Hadoop集群中两种节点的性能差别进行了分析，并给出了实验异构的平台的设计和实验结果。[关键词]云计算；异构环境；Hadoop中图分类号：TP3文献标识码：A文章编号：1008—6609(2016)10．0027．03I引言以往的以物理节点而设立的数据中心正在面临变革，在上个世纪诞生的被用于大

2、型机的虚拟化技术，正在被逐渐部署到廉价通用硬件构成的基于X86的PC服务器上。和以往的物理机器不同，虚拟机中的中间层操作系统和上层的应用不会直接和底层硬件进行交互，而是需要通过VMM层和hv—pervisor才能和底层的硬件接触。通过在传统的数据中心中应用虚拟化技术，能够有效分配计算资源，催化了云计算服务在今天的广泛应用。本文研究了一个由虚拟机节点和物理机节点混合而成的异构云平台，并且在平台中实施了Ha．doop的性IIII试，分析了Hadoop在物理机和虚拟机混合环境下读写数据的实际性能，探究了在Hadoop集群中两种节点的性能差别，并且阐述了接下来需要开展的工作。2

3、虚拟化技术和云平台虚拟化技术能够实现虚拟机从当前的节点上向另一个节点无缝迁移，同时确保在实际迁移的过程中，相关机器中的程序还可以正常运行。虚拟化技术会在数据中心形成一个较大的资源池，这样相关的用户则是根据动态调整，进行资源的整合。在这个前提下，如果一个数据中心接入了互联网并且应用虚拟化技术，就能够为外部用户提供必要的租赁资源服务项目，也就是公共云服务。早在2006年，国际上著名的在线商务平台亚马逊公司就研发了弹性云计算服务(ElasticCloudcomputing)，通过虚拟机来为用户提供数据中心的相关计算资源。用户根据时间的长短和需求的不同来租用计算资源，并且支付租

4、金。用户则是可以利用互联网将个人数据进行传输，将其传输到云平台上，这样将会对最终的结果进行计算。除了公共云，云服务也考虑到了数据的可靠性和隐私性，将一些数据以及应用有效储存在企业的数据中心，同时对外界进行有效的服务，对于该服务模式则是为私有云服务。3实验异构的平台的设计3．1虚拟平台的设计实验平台主要包括4台PC，其中包括1台1U尺寸的DellR410抽屉式服务器，还有3台是组装机。服务器配置：3块300G的SAS硬盘，1颗2．13G主频的四核IntelXeonE5506CPU，8G内存；组装机配置：4块容量2T的5900转SeagateSATA硬盘以及1块80GB的I

5、nter固态硬盘，1颗主频2．8G四核Interi5760CPU，内存8GB。4台机器通过一个24口TP．Link的交换机连接而成，进而组成一个小型的局域网络。在软件选择方面，使用Xen3．0版本的整体虚拟化方案当作虚拟化软件，使用1台组装机来建设虚拟机VM，并且为这台虚拟机配置500GB硬盘空间、7G内存以及4个VCPU，使其具有和物理节点相同的底层IO资源和计算资源。所有VM运行和物理节点都是Centos5．52．6．18内核的64bits操作系统，使用0．20．2版本的Hadoop，块的副本数是3，HDFS中文件块大小是64MB。在Hadoop架构中的Master

6、节点是Dell服务器。Slaves节点是虚拟机VM和2台物理组装机⋯。作者简介：姚晔(1973一)，女，上海人，硕士，教授，研究方向为云计算。基金项目：2014年辽宁省社科立项课题《云计算在中小图书馆建设中的应用研究》，课题编号：L14BTQ005。．27．学术探讨·基金砑目3．2具体实验设计虚拟化将会导致IO的开销较大，这样就必须要对Ha．doop集群中虚拟机节点和物理机节点等磁盘读写性能进行有效的测试，从而对其性能进行有效的对照。另外，对于dd命令来说，在每次进行设计的过程中，写入设计的容量为32M。而后连续写入100次，达到3．2G的总写入数据量。在这个过程中，同

7、时也要有效保证dd命令的附加参数cony等于fdatasync，这样将会让最终的数据无法写入到内存缓存就返回，而是被写入到磁盘中。所有节点都需要连续进行6次速度测试。为了有效保证磁盘读写性能的真实性，必须要运用hd．parmt命令(dd命令测试得到的并不是实际的磁盘读速度)。同时也要对每个阶段进行多次的测试工作，以此来保证测试结果的稳定性。现今在Hadoop平台中，有效运用TestDFSIO和sort这两个典型的benchmark进行平台性能测试。关于TestDFSIObenchmark，是利用MapReduce中单个作业的方式来进行HD