面向多核集群的数据流程序层次流水线并行优化方法研究

《面向多核集群的数据流程序层次流水线并行优化方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号TP391学号M201172499学校代码10487密级硕士学位论文面向多核集群的数据流程序层次流水线并行优化方法研究学位申请人：张维维学科专业：计算机应用技术指导教师：于俊清教授答辩日期：2014年1月17日万方数据AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringMulti-levelPipeliningParallelismforDataflowProgramsonMu

2、lti-coreClusterCandidate：ZhangWeiweiMajor：ComputerApplicationTechnologySupervisor：ProfessorYuJunqingHuazhongUniversityofScienceandTechnologyWuhan430074,P.R.ChinaJan,2014万方数据独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发

3、表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在_____年解密后适用本授权书。本论文属于不

4、保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日万方数据华中科技大学硕士学位论文摘要多核集群并行系统以强大的并行计算能力和良好的扩展性成为一种重要的并行计算平台，它为各类应用提供了并行计算能力的同时也将如何利用底层系统资源等问题暴露给了编程人员，编程难度较大。数据流编程语言作为面向领域编程语言被提出来，数据流模型将计算与通信分离暴露应用程序的并行性简化编程。但多核集群中计算、存储和通信等底层资源的复杂性对数据流程序的性能提出了新的挑战，并且数据流程序在并行系统

5、上的可移植性和可编程性也为编译器提出了更高的要求。针对数据流程序所面临的问题，设计并实现了一种数据流编程模型——COStream，它是由COStream数据流编程语言和COStream编译器构成。COStream数据流编程语言是在C语言基础上加入表征数据流图的文法结构，结构清晰，扩展性较好；COStream编译系统利用同步数据流图作为中间表示，根据目标系统结构特点对数据流程序进行并行优化，构造流水线调度，生成高效可并行执行的目标代码。针对数据流程序在多核集群平台上执行存在的问题，提出并实现了面向多核集

6、群的层次性流水线并行优化方法，方法包含三个步骤：任务划分与调度，层次性流水线调度和数据局部性优化。任务划分与调度是利用程序中数据和任务并行性将任务映射到计算核上，实现负载均衡和低通信同步开销；层次性流水线调度是利用程序中的并行性构造低延迟流水线调度；数据局部性优化是针对数据访问存在的cache伪共享做面向存储的优化。实验以X86架构多核处理器组成的集群为目标平台，选取媒体处理领域的典型应用算法作为测试程序，对层次流水线优化进行实验分析。实验结果表明了优化方法的有效性。关键词：多核集群，数据流编程，编译

7、，流水线，COStreamI万方数据华中科技大学硕士学位论文AbstractMulti-coreclusterarchitectureshavebecomeanimportantkindofparallelcomputingplatformforitspowerfulandscalableparallelcomputingcapabilities.Howtosimplifytheprogrammingintheshieldoflow-levelsystemresourcesofthearchitect

8、ure,whilemakingfulluseoftheparallelismoftheplatformtoincreasetheprogramperformance,hasbeenahugechallenge.Asadomainspecificprogrammingmodel,dataflowprogrammingcombinesthefeaturesofmediaapplicationsandprogramminglanguagesandoffersa