一种具有容错机制的MapReduce模型研究与实现-论文.pdf

《一种具有容错机制的MapReduce模型研究与实现-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、第48卷第2期西安交通大学学报Vo1．48NO．22014年2月JOURNALOFXI’ANJIAOTONGUNIVERSITYFeb．2014DOI：10．7652／xjtuxb2Ol402O01一种具有容错机制的MapReduce模型研究与实现史械，耿晨，齐勇(1．西安交通大学电子与信息工程学院，710049，西安；2．中航工业西安飞行自动控制研究所，710065，西安)摘要：针对传统MapReduce模型的容错机制对错误的处理效率低下等问题，提出了一种基于多核虚拟机的具有容错机制的MapReduce模型。该模型使用检查点机制进行错误恢复，并只对中间结果和必要的状态信息进行保存；利用虚拟

2、机在隔离内存中保存中间结果；根据用户的需要及系统的负载情况动态调整系统中工作节点的个数。通过在SUN的32核、主频为2．38GHZ、内存为128GB~It．务器上的测试，结果表明：与传统MapReduce模型相比，改进MapReduce模型降低了通信上的开销，提高了MapReduce运行过程的可靠性和错误恢复的性能，虚拟机监控器可以完全控制和管理多核平台的内存，使操作系统无法直接访问隔离的内存，数据恢复不会受到操作系统内部各种错误的影响，保证了恢复数据的安全性。关键词：多核；虚拟机；容错；MapReduce中图分类号：TP311文献标志码：A文章编号：0253—987X(2014)02—00

3、01—07AMapReduceSystemwithFault-TolerantMechanismSHIYi，GENGChen，QIYong(1-SchoolofElectronicsandInformationEngineering，xi’anJiaotongUniversity，Xi’an710049，China；2．AVICXi’anFlightAutomaticControlResearchInstitute，Xi’an710065，China)Abstract：AMapReducewithfault—tolerantmechanismbasedonmulti—corevirtualm

4、achineisproposedtosolvetheproblemthatthesimplefault—tolerantmechanismintraditionalMapReduceisproneforduplicatecalculationinerrorprocessing．Thesystemusescheckpointmechanismtoperformerrorrecoveryandonlysavesintermediateresultsandnecessarystateinformation．Itstorestheintermediateresultsinisolatedmemory

5、throughvirtualmachine．Thenumberofworkernodesisdynamicallyadjustedaccordingtotheuser’Sneedandthesystemload．Experimentsareconductedon32一core，2．38GHz，128GBSUNserverandtheresultsshowthattheproposedMapReducereducescommunicationcost，andimprovessystemreliabilityanderrorrecoveryperformance．VirtualMachineMo

6、nitorcanentirelycontrolandmanagethememoryofamulti—coresystemanddisableOStovisittheisolatedmemorydirectly。ThesecurityofdatarecoveryisguaranteedbyavoidingaffectionoferrorsoccurringinsidetheOS．Keywords：multi-core；virtualmachine；fault—tolerant；MapReduceMapReduce编程模型在任务处理的过程中，为简单，对错误的处理容易产生重复计算，造成计算个别节点

7、容易出现错误，出错节点对整个系统性能资源的浪费。在容错时如果使用传统的进程检查点的影响较大。传统MapReduce模型的容错机制较机制，则开销较大并且难以保证恢复数据的安全性。收稿日期：2013—09～17。作者简介：史槐(1975一)，女，讲师。基金项目：国家自然科学基金资助项目(60933O03)；教育部高等学校博士学科点专项科研基金资助项目(20120201110010)。网络出版时间：2014—01—