资源描述：
《内存计算框架局部数据优先拉取策略_卞琛》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、ndDe9.20117内存计丿寥彬2)046()tratWeiroBineandmi83内存计算框架局部数据优先拉取策略_卞琛计算机研究与发展Journa1ofComuterResearchave1omentpp:/DOI10.7544issnl0001237.20160049-()：544787-803,20算框架局部数据优先拉取策略卞琛1于炯1修位蓉1钱育蓉1英昌甜112()新疆大学信息科学与工程学院乌鲁木齐83I新疆财经大学统计与信息学院乌鲁木齐830012(bianchen0720@126.com)PartialDataShuffledFirstSefo
2、rInemorComutinFramework—Mgyypg111112,,BianChenYuJionXiuonianYuronYinChantianandLiag,g,Qg,gg()Co1leeolnormationSciencEnineerinXinianUniversitUrugffgg.Jsy，q2（）cosandion,Xined•Theeonnemoamework,andmoliedlatheircomutintaskesultsofslowestworkerndthetionnotonlwassoushenorfmlementashetheres
3、ourereuirementmode―gexecutionefficiencmode1taskdu1inmode1ivetoAEE)andworkerc(WCD).Moreoverheealorithmisroosed•Tosolvetheroblemofotimizinedesinaartialdataff1edfirsta1orithm(PDSF)wudesmoreinnovativearoacefficientcutraterouhtherrailcomeasetheexecasethedutheexecution.Wefurththecorrelativ
4、eattributesofour1orithm,tPDSFconformsmemork,andPDSFcimrovementofc1usutilt；；aKewordsinemorcomutinaskacationschedulin1locationeffincentroob—m(；；AEE)workercontributionderee(WCD)heteroeneousenvironmentgg但s摘要内存计算框架的低延迟特性大幅提高了集群的计算效率，huff1e过程的性能瓶颈仍不可规宽依赖的同步操作导致大多数工作节点等待慢节点的计算结果，同步过程不仅浪费计算资
5、源，更增避.加了作业延时，这一现象在异构集群环境下尤为突出.针对内存计算框架Shuff1e操作的同步问题，修回日期：20160126；20160630收稿日);)国家自然科学基金项目(新疆维吾尔自治区高校科研计划(61262088,61462079,61363083,61562086XJEDU2016S106基金项目:)ThisworkwassuortedbtheNationaINaturaIScienceFoundationofChina(61262088,61462079,61363083,61562086andPPy)EducationaIResearch
6、ProramofXinianUurAutonomousReionofChina(XJEDU2016S106.thegJgygg788O计算机研究与发展2017,544建立了资源需求模型、执行效率模型和任务分配及调度模型.给出了分配效能*商（a11ocationefficiency,A,WC和节点贡献度(的定义，提出了算法的优化目标•根entroEE)workercontributiondereeD)pyg,据模型的相关定义求解，设计了局部数据优先拉取算法(a『tialdatashuffledfirstalorithm,PDSF)Pg通过高效节点优先调度，提高流水
7、线与宽依赖任务的时间重合度，减少宽依赖Shuff1e过程的同步延时，优化集群资源利用率；通过适度倾斜的任务分配，在保障慢节点计算连续性的前提下，提高分配任务量与节点计算能力的适应度，优化作业执行效率；通过分析算法的相关优化原则，证明了算法的帕累托最优性.实验表明：并使集群资源得到有效利用.PDSF算法提高了内存计算框架的作业执行效率，任务分配；作业调度；分配效能爛；节点贡献度；异构环境关键词内存计算；中图法分类号TP311各行业应用数据规模呈爆炸性增长，大近年来，数据的4表现出增速V特性发生不同程度的变化，1[增量大、类型多样、结构差异明显等特征[传统快、.究对
8、象，但并不失一般性，本文
