基于云计算的分布式处理框架的研究与设计

《基于云计算的分布式处理框架的研究与设计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号密级UDC学位论文基于云计算的分布式处理框架的研究与设计杨义彬指导教师姓名江春华电子科技大学成都申请学位级别工学硕士专业名称软件工程论文提交日期2011.3论文答辩日期2011.5学位授予单位和日期电子科技大学答辩委员会主席评阅人万方数据独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名：日

2、期：年月日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）签名：导师签名：日期：年月日万方数据摘要摘要随着电子商务的蓬勃发展，与国际贸易相关的各种数据也呈井喷式的增长。为了解决国际贸易中的若干关键技术问题，本文设计了基于云计算的分布式处理框架来满足项目对海量数据的存储管理、灾难备份、信息服务的质量保证、

3、业务信息的高效率统计以及电子单证转换各方面的要求。该设计方案充分利用了大规模集群计算机的存储、计算资源，而且可以方便、低代价的对集群进行扩展，为国际贸易企业间的合作与信息交互建立良好的技术支撑。本文所设计的分布式处理框架采用层次式的架构，自底向上分别是硬件资源管理层、业务逻辑层、用户交互层。三层之间彼此独立，由下层向上层提供功能调用接口，每一层内部的变化不会对其他层产生影响，可以很方便的对框架进行改进和扩展。硬件资源管理层采用了云计算开源框架Hadoop对集群的硬件资源进行管理；业务逻辑层采用了Spring开源框架技术和MapReduce编程模式，利用底层提供的接口实

4、现了用户管理、文件管理、业务信息统计、电子单证转换、编程接口调用等业务功能；用户交互层采用Struts2架构结合多种Web前端技术搭建，负责集群与用户的交互，根据用户请求调用相应的业务层功能模块完成用户请求。针对项目多用户、短作业较多的需求，对MapReduce编程模型的作业调度方式进行了深入的研究。通过大量的实验和对已有作业调度算法的研究分析，结合项目本身特点，设计了两级队列期限驱动的作业调度算法。该算法将作业队列分为长作业队列和短作业队列，更好的满足了短作业队列的需求，避免了长作业长期占用集群资源的弊端，并在一定程度上实现了作业的并行运行，提高了集群的资源利用率。

5、通过给作业设置最后执行期限，让到达执行期限的作业被赋予最高的优先级优先处理，并能获得更多的集群资源分配，很好的满足了用户实时性的需求。通过将暂时不能被分配到持有该任务数据的节点资源的任务延迟一段时间执行，更好的实现了数据本地化，提高了集群的执行效率。最后，对本文所做的优化和改进进行了大量的实验验证和比对。首先证实了通过参数的合理配置有效的提升了框架的性能，然后证实了本文所设计算法较之Hadoop默认算法的优越性。关键字：云计算，MapReduce，作业调度I万方数据ABSTRACTABSTRACTWiththerapiddevelopmentofe-commerce，

6、thedata,relatingtointernationaltrade,alsoturnouttobeaboom.Inordertoresolvesomeimportanttechnologicalproblemsininternationaltrade,thisthesisdesignedthedistributedprocessingframeworkbasedoncloudcomputingtomeettherequirementsofstoragemanagementofmassdata,disasterrecovery,qualityassuranceof

7、informationservices,efficientbusinessinformationstatistics,electronicdocumentsconversion.Thisdesignnotonlytakesgoodadvantageoflarge-scalecomputerclusterofstorageandcomputingresources,butalsomakesitconvenienttoexpansetheclusterswithlowcost.Itestablishesagoodtechnicalsupportforin