云存储环境下的负载均衡策略研究

《云存储环境下的负载均衡策略研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第4l卷第6期航空计算技术V01．41No．62011年11月AeronauticalComputingTechniqueNov．201l云存储环境下的负载均衡策略研究邓青，王丽芳。蒋泽军(西北工业大学计算机学院，陕西西安710129)摘要：云存储系统具有高客错性、部署在低廉的硬件上、易扩展性、提供高传榆率访问数据的优点．但是在云存储环境下的HDFS架构中，原有的敷据节点选择策略有可能造成大文件存储负栽不均衡．从而影响整个系统的性能。针时这一问题，综合考虑多个因素对其进行改进．提出了设备选择策略算法．用以均衡系统的负载。井设计仿真实验，验证了算法的有效性，关键词：负载均衡；云存储；选择策略中

2、围分类号：TP393文献标识码：A文章编号：1671—654X(201I)06-0091-04ResearchonLoadBalanceBasedonCloudStorageDENGQing，WANGLi-fang，JIANGZe·jun(SchoolofComputerSc&nce，NonhwesmmPolytechnicUniversity，Xi’an710129，China)Abstract：Cloudstoragehastheadvantagesofhighfaulttolerance，easyexpansibility，providinghighspeedofdataaccessa

3、ndcheaphardware．However，thereisaproblemthattheinitialdataselectionstrate—gYmayleadtotheloadunbalance．’Fhisproblemcanbesolved．Consideringvariousfactorsandthechar‘aeteristiesofdistributedfilesystemofcloudstorage，provideanewdataselectionstrategyinordertobal-aocetheload．Theexperimentpresentsthattheperf

4、ormanceandeffectivenessofnewstrategyaleim。proved．Keywords：HDFS；loadbalance；cloudstorage；selectionstrategy引言云存储是在云计算的概念上延伸出来的，当云计算系统运算和处理的核心是大量数据的存储和管理时．云计算系统巾就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统。它的优点更加符合现代企业和个人的需求。云存储系统中有大量性能各异的存储节点，海量数据的存储使得负载均衡成为云存储系统中的一个重要问题。本文在基于HDFS的云存储环境下．针对存储数据时对数据节点的选择策略，提出了改进和

5、优化．并对其性能进行实验验证和分析。lHDFS架构分析l，1HDFS简介HDFS(HadoopDistributedFileSystem)是Hadoop实现的一个分布式文件系统。HDFS设计前提：系统由大量Server组成，硬件作为常态。系统为提高数据吞吐量。采用流式数据访问。典型的文件大小一般在c字节。支持大文件存储，以提高数据传输的带宽。HDFS的应用需要一个“一次写入多次读取”的文件访问模型，使高吞吐量的数据访问成为可能。对于云存储的用户来说，HDFS就像一个传统的文件系统，可以进行创建、删除、移动或重命名文件等操作。1．2HDFS架构HDFS采用Master／Slave架构。一个HD

6、FS集群是由一个Namenode和一定数目的Datanode组成。Namenode是一个中心服务器．负责管理文件系统中的Namespace及客户端对文件的访问。组成Datan·ode的大量节点，负责管理各个节点上的存储1“。单一节点的Namenode大大简化了系统的架构。由于Namenode负责存储和管理所有的元数据，文件数据可收稿日期：2011—09一15修订日期：201I一07～12tfti】illil：航空科学基金项目资助(2010ZD53．2009ZD53044)；陕西省自然科学基金项目贷助(2009JM8017．2009JQ02]，2010JM80231；西北T业大学种子基金项目资

7、助(Z20tI138)作者简介：邓青(1987一)，女．陕两婀安人，顾L研究乍．主要研究方向为i存储．电子商务技术·92·航空计算技术第4l卷第6期以直接在Datanode上进行读写而不需要通过Nameno—de。存储在HDFS中的文件被分成大小相同的块，然后这些块根据设置的副本数量，复制到多个Datanode中。如何选择用于存储数据的Datanode，在一定程度上影响系统负载的均衡。2HDFS设备选择策略2