大规模并发环境下并行io调度策略研究

《大规模并发环境下并行io调度策略研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号_________学号M201172415学校代码10487密级硕士学位论文大规模并发环境下并行I/O调度策略研究学位申请人杜立学科专业计算机系统结构指导教师谭支鹏副教授答辩日期2014.1.21万方数据AThesisSubmittedinPartialFulfillmentoftheRequirementsFortheDegreeofMasterofEngineeringServersideschedulingalgorithmsinLarge-scale-applicationenvironmentCandidate:DuLiM

2、ajor:ComputerArchitectureSupervisor:TanZhipengHuazhongUniversityofScienceandTechnologyWuhan,Hubei430074,P.R.ChinaJanuary,2014万方数据华中科技大学硕士学位论文独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明

3、的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在________年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月万方数据华中科技大学硕士学位论文摘要分布式并行文

4、件系统已经成为高性能应用领域不可缺少的组成部分，在实际应用环境中，面向的往往是大规模的客户端，在大量客户端IO密集型应用并发地访问服务器时，数据服务器的IO请求队列会很长，而服务器往往无法针对客户端应用做整体优化，当客户端应用的IO请求是同步请求时，平均完成时间会很高。而现有的I/O调度优化策略很少考虑高并发环境下的同步I/O负载特征对应用程序平均完成时间带来的影响。详细介绍了分布式环境下的I/O调度策略以及它们的适用场景，针对目前鲜有研究的高并发环境下的I/O特征进行了研究以及理论分析，分析了导致高延时的原因。由此提出了多级等长I/O队

5、列调度算法（EML，Equal-lengthMulti-levelAlgorithm），一种面向客户端应用进程的I/O调度策略，通过构造多个优先级队列并限制每个优先级队列的队列长度，缩小部分应用程序两次同步IO的处理间隔时间，并且动态调整应用的优先级，从而降低了应用程序整体的平均响应时间。同时，通过deadline机制保证应用程序的公平性，消除潜在的饥饿现象。另外，还提出了一种针对多服务器文件条带化的优先级调整方案，来保证同一应用在不同服务器上优先级的一致。最后在PVFS2系统上实现了该算法，并与原始的PVFS2进行了基准测试对比。实验证

6、明，EML算法对系统有良好的性能提升，并对于不同的访问负载具有很强的适应性。关键词：I/O调度，多级队列，PVFS2分布式并行文件系统，并行I/OI万方数据华中科技大学硕士学位论文AbstractDistributedandparallelfilesystemhasbeenwidelyusedinmanyfieldsanditisusuallydesignedtoprovidehighperformance.However,itiscommonthatlargeamountsofdata-intensiveapplicationsofte

7、naccessthedataserverconcurrentlyandtheaveragecompletiontimecanalwaysbeverylongduetothelongrequestqueueondataservers,especiallywhentherequestsofapplicationisaseriesofsynchronousI/Orequests.Traditionalparallelfilesystemoftencan’tmakeagoodoptimizationwhenfacingalargeamountof

8、clientapplications.ThispaperintroducesserversideI/Oschedulingandtheirapplicativescenariosindetai