基于hadoop的云存储系统客户端的设计与实现

《基于hadoop的云存储系统客户端的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、华中科技大学硕士学位论文基于Hadoop的云存储系统客户端的设计与实现姓名：杨坤申请学位级别：硕士专业：计算机系统结构指导教师：陈涛2011-05-27华中科技大学硕士学位论文摘要云计算平台hadoop是对Google的GFS以及MapReduce的开源实现，虽然目前hadoop主要还是集中于对海量数据进行计算处理的技术层面，但是不能忽视的是hadoop在设计和实现的过程中，也包含了对数据存储的强大能力的体现，这主要体现在hadoop平台中，所采用的分布式文件系统HDFS，这个基于网络的分布式文件系统，能够很有效的存储大量的数据，实现将用户的文件数据通过网络进行分

2、布式存储。首先分析了hadoop系统平台在读写文件数据的处理方式和实现的机制，包括对HDFS在文件读取和写入两个方面的分析，并且对这个设计思路的不足也进行了分析，这些分析将有助于实现基于hadoop的云存储服务系统，其次在对hadoop系统的作业调度算法研究的基础之上，提出并实现了一种新的作业调度算法—基于反馈的作业调度算法，这种算法的主要思想是当前的作业调度决策，会影响到下一次的作业调度决策，通过不断的学习以前决策的经验和教训，不断的修改集群系统的参数的配置，最终达到一个比较稳定的作业处理的性能。最后，在前面工作的基础之上，主要实现的是基于Hadoop的云存储系

3、统在用户的客户端方面的管理，通过这个平台用户可以管理自己的存储空间和文件，并且将本地文件上传到集群服务器中进行存储，而用户的文件数据存储到磁盘中之前，都必须经过分布式文件系统HDFS的处理，实现将数据文件分散的存储在网络中的各个数据节点之中。关键词：云计算，云存储，作业调度，云存储系统客户端I华中科技大学硕士学位论文AbstractHadoopisacloudcomputingplatformwhichistheopensourceimplementationofGoogle'sGFSandMapReduce.Althoughhadoopnowismainlyfo

4、cusedonthetechnologyofprocessingofmassdatacalculate,wecannotignorethepowerfuldatastoragecapacityofhadoopwhichisreflectedinthedesignandimplementationofhadoop.ThepowerfuldatastoragecapacityofhadoopismainlyReflectedinthedesignofdistributedfilesystemHDFS.HDFSisanetwork-baseddistributedfil

5、esystemwhichcanhandleverylargeamountsofdataeffectively,theuser’filedatacouldbestoreddistributedthroughHDFS.Intheresearchofhadoopplatform,wemainlyfocusonthefollowingthreeaspects.FirstlyweanalyzethemechanismsofdataprocessingmethodandreadingandwritingprocessintheHDFS.Wealsoanalyzethedefe

6、ctsofthisdesignidea.Theanalysiswillhelpustobuildahadoop-basedcloudstorageservicesystem.Secondlyweanalyzethejobschedulingalgorithmsinthehadoopplatformandimplementanewschedulingalgorithm-basedonfeedbackschedulingalgorithm,whichthemainideaisthecurrentjobschedulingdecisionswillaffectthene

7、xtschedulingdecision-making,andconstantlymodifytheconfigurationparametersoftheclustersystemtoachieveamorestablejobprocessingperformance.Finally,weimplementacloudstoragesystembasedonhadoop.Themainachievementistheclientmanagementinterface,throughthisplatformusercanmanagetheirownstorages

8、pacea