antnest：一种支持多计算模型的分布式计算系统

《antnest：一种支持多计算模型的分布式计算系统》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、写分类号学号M201072312学校代码10487密级硕士学位论文Antnest:一种支持多计算模型的分布式计算系统学位申请人：黎飞君学科专业：计算机技术指导教师：郑然答辩日期：2012年6月2日AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringAntnest:ADistributedComputingSystemSupportingMultipleComputationalModalsCandid

2、ate:LiFeijunMajor:ComputerTechnologySupervisor:ZhengRanHuazhongUniversityofScience&TechnologyWuhan430074，P.R.ChinaJun,2012独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承

3、担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打―√‖）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文摘要随着计算机和互联网的发展，信息量

4、的增长已经达到了一个前所未有的速度，海量数据的日益累积，使人们迎来了―大数据‖的时代。如何正确且高效地从这些数据中分析出有用信息并做出处理成为了一项极具挑战性的工作。面对这一问题，人们往往考虑采用分布式计算进行处理。然而对于大多数信息企业来说，往往存在着许多种不同需求的业务，这些业务所适用的分布式计算平台不尽相同，这就导致了企业分布式计算平台种类的繁多，学习和维护这些平台往往需要很高的成本，这给新型互联网企业带来了巨大的经济压力。因此，设计一个支持多计算模型的分布式计算系统成为了各企业的迫切需求。Antnest将企业的

5、各种基本业务需求抽象成三种不同的计算模型，通过对比这些计算模型的特点，对它们的可等价性进行了分析，并提出了一种统一计算模型的方案，主要包括数据源的统一以及计算处理的统一。Antnest综合了批处理分布式计算、流式分布式计算、任务自动调度框架等三种平台的特点，对企业中最基本的三种业务——大规模静态数据处理业务、线上实时业务、后台定时业务提供了很好的支持，从而减少了企业因使用和维护多种平台所造成的开销。Antnest为用户提供了一个统一的任务创建模式，用户根据自己的实际业务需求采用相同的规则定义数据源及计算单元配置文件，并

6、在对应的任务接口中实现计算单元的处理逻辑，接着便能将任务上传到该平台中执行。Antnest屏蔽了不同任务计算模型之间的差异。另外，底层的一些实现机制，如消息通信、心跳检测、容错、任务的划分及调度等，对于用户而言是完全透明的。经测试表明，Antnest能很好的支持不同计算模型任务，正确执行任务的各种基本操作，同时还对不同的数据库提供了支持。关键词：大数据，分布式计算，统一计算模型，批处理，流计算，自动调度I华中科技大学硕士学位论文AbstractWiththedevelopmentofcomputerandtheInte

7、rnet,thegrowthoftheinformationhasreachedanunprecedentedspeed,theincreasingaccumulationofmassivedatamakespeopleusheredinthe"bigdata"times.Howtoextracttheusefulinformationfromthesehugedatacorrectlyandefficientlyandmakeaproperdecisionbecomesachallengingtask.Facingt

8、hisproblem,peopletendtoconsiderusingadistributedcomputingforprocessing.However,formostoftheinformationenterprise,alwayshavemanybusinesswithdifferentneeds,theyapplicab