一种流式计算平台的设计与实现.pdf

《一种流式计算平台的设计与实现.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、中国科学技术大学硕士学位论又一种流式计算平台的设计与实现作者姓名：学科专业：导师姓名：完成时间：陈涛计算机系统结构周学海教授二。一二年四月十三日UniversityofScienceandTechnologyofChinaAdissertationformaster’SdegreeADesignandimplementationofStreamDataProcessingPIallformAuthor’SName：TaoChenSpeciality：ComputerSystem&ArchitectureSupervisor：P

2、rof．XuehaiZhouFinishedtime：April13m，2012中国科学技术大学学位论文原创t}生声明本人声明所呈交的学位论文，本人在导师指导下进行研究工作所取得的成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确的说明。作者签名：j醯=一Ib中国科学技术大学学位论文授权使用声明作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交论文的复

3、印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。保密的学位论文在解密后也遵守此规定。玉开口保密(年)作者签名：签字目期：隼牟乏!!兰：≤：盘导师签名：签字日期：c伏夕彬刁‘。摘要随着信息技术和互联网的发展，基于流式数据的应用越来越多，传统的计算架构已经无法满足这类应用的需求。本文针对于基于数据采集和在线统计分析等Web应用的现实问题，设计并实现了一个流式计算平台Mos。Mos是一个分布式、高可用、可扩

4、展、低延迟、基于MapReduce编程模型的流式计算平台，能够满足对实时应用的需求。本文深入分析了当前若干主流的分布式系统的架构，以实现一个流式计算平台为目标，紧紧围绕着可扩展性、低延迟和高可用性三方面展开研究，本文的主要工作为：(1)分析和总结了目前主流平台的特点，吸取了其中优秀的思想，完成了Mos架构的设计与实现。(2)由于流式计算平台低延迟的要求，集群的负载平衡是影响系统性能的关键问题，本文深入探讨了负载平衡问题，并提出了一种基于资源利用率的、动态变化的负载平衡策略，使得任务会随着节点运行情况实现动态调整。(3)要保证一

5、个系统的可用性，需要对错误有一定的容忍度，本文提出了一种基于内存的多级错误容忍策略，根据任务对实时性和可靠性的需求不同采用了不同的容错方式，具有较高的灵活性和可靠性。关键词：MapReduce流式计算云计算负载平衡容错原书空白页不缺内容AbstractWiththedevelopmentofIntemetandInformationTechnology,moreandmoreapplicationsbasedonstreamdataappear．Traditionalcomputingarchitectureshavebeen

6、unabletomeettheneedsofthiskindofapplications．Forreal—timeapplications，wedesignandimplementanewstreamprocessingplatformnamedMos．Mosisadistributed，highlyavailable，scalable，low—latency’basedonMapReducemodel，streamprocessingplatform，whichCansatisfytherequirementsofreal—

7、timejobs．．Thisdissertationanalyzesandsummarizesthesomecurrentstreamprocessingplatformsinde印，aimingatimplementingacommonstreamprocessingarchitecture，focusesonthepolicyofloadbalanceandthefaulttolerancemechanism．Themaincontentsofresearchinthisdissertationareasfollow．(1

8、)Weanalyzeandsummarizetheadvantagesanddisadvantagesofthecurrentplatforms，absorbtheirexcellentideasandexperiences，finallyproposeourarchitec