基于hadoop的云计算系统设计

《基于hadoop的云计算系统设计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号:TP3910710-2013124077硕士学位论文基于Hadoop的云计算系统设计王超导师姓名职称段宗涛教授智能交通与申请学位类别工学硕士学科专业名称信息系统工程论文提交日期2016年4月28日论文答辩日期2016年6月8日学位授予单位长安大学TheDesignoftheCloudComputingSystemBasedonHadoopAThesisSubmittedfortheDegreeofMasterCandidate：WangChaoSupervisor：Prof.DuanZongtaoChang’anUniversity,Xi’an,China

2、论文独创性声明本人声明：本人所呈交的学位论文是在导师的指导下独立进行，研究工作所取得的成果。除论文中己经注明引用的内容外，对论文的。研究做出重要贡献的个人和集体，均已在文中明确方式标明本论文中不包含任何未加明确注明的其他个人或集体已经公开发表的成果。本声明的法律责任由本人承担。论文作者签名：多《＾艾０＾年月（日论文知识产权权属声明本人在导师指导下所完成的论文及相关的职务作品，知识产权归属学校。学校享有Ｗ任何方式发表、复制、公开阅览、借阅Ｗ及申请专利等权利。本人离校后发表或使用学位论文或与该论文直接相关的学术论文或成果

3、时，署名单位仍然为长安大学。（涉密论文在解密后应遵守此规定）＞／／论文作者签名：年＾＾么（＾月（日导师签名：法年（月如件華２＾／＾摘要计算机技术与互联网技术的飞速发展，使得人们的生活方式发生了翻天覆地的变化。各类电子信息产品在方便了人们工作与生活的同时，也使得人们不得不面对日益增长的海量数据信息处理的难题。传统的数据处理方式已经无法胜任大规模数据的处理工作。因此，大规模数据的处理越来越依赖于大数据平台。在众多大数据处理平台中，开源的大数据框架ApacheHadoop因其高效率、低成本的优势而广受认可。现在，Hadoop已经成为了最为流行的大数

4、据处理平台。但是Hadoop集群部署的硬件成本和Hadoop专业人员高额的培训费用等问题依然极大地限制着Hadoop的推广使用。在此背景下，本文设计实现了基于Hadoop的云计算系统。首先详细地分析了云计算技术，相比于传统的计算方法，云计算更适合用来解决大规模数据的处理问题。然后，对Hadoop平台进行了深入研究，主要包括Hadoop的HDFS文件系统、MapReduce编程模型以及YARN资源管理架构。在此基础上，设计实现了基于Hadoop的云计算系统。该系统将Hadoop集群发布到云端供用户使用。在使用该云计算系统时，用户不必自己部署集群，也不必进行大量的开发

5、工作，只需要向Hadoop服务提供商支付一定的费用，就可以获取Hadoop集群的使用，既节省了成本，又降低了开发难度。最后，本文对基于Hadoop的云计算系统进行功能测试，验证其可用性。关键词：大数据，云计算，Hadoop平台，HDFS，MapReduce，YARNiAbstractThedevelopmentofcomputertechnologyandInternettechnologychangesourlifestyle.Varioustypesofelectronicinformationproductsmakeourlifemoreconvenient

6、,buttheyalsomakepeopletofacetheproblemofthemassive-data-processing.Thetraditionaldataprocessingmodesarenotsuitableformassive-data-processing;massive-data-processingisincreasinglydependentonthebigdataprocessingplatform.Amongmanykindsofbigdataprocessingplatforms,Hadoopisthemostpopularon

7、ebecauseofitshighefficiencyandlow-cost.ButthehardwarecostsofHadoopclusterandthehightrainingcostsofHadoopProfessionalslimitthepromotionofHadoop.ThispaperdesignedacloudcomputingsystembasedonHadoop.Firstly,thepaperintroducedthecloudcomputing,comparedtothetraditionalcomputingmethod,theclo

8、udcom