基于云计算的并行调度的研究

《基于云计算的并行调度的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中图分类号：TP393单位代码：学号：@：寸闺石油六学10425S09070939硕士学位论文ChinaUniversityofPetroleumMasterDegreeThesis基于云计算的并行调度的研究ResearchintoParallelSchedulingBasedonCloudComputing学科专业：计算机科学与技术研究方向：高性能计算作者姓名：邢永山指导教师：梁鸿教授二。一二年五月iU[1[IIIU[Illl[IlUIY2071991ResearchintoParallelSchedulingBased

2、onCloudComputingAThesisSubmittedfortheDegreeofMasterCandidate：XingYongshanSupervisor：Prof．LianghongCollegeofComputer&CommunicationEngineeringChinaUniversityofPetroleum(EastChina)关于学位论文的独创性声明本人郑重声明：所呈交的论文是本人在指导教师指导下独立进行研究工作所取得的成果，论文中有关资料和数据是实事求是的。尽我所知，除文中已经加以标注和致谢外

3、，本论文不包含其他人已经发表或撰写的研究成果，也不包含本人或他人为获得中国石油大学(华东)或其它教育机构的学位或学历证书而使用过的材料。与我一同工作的同志对研究所做的任何贡献均己在论文中作出了明确的说明。若有不实之处，本人愿意承担相关法律责任。学位论文作者签名：榭日期：20／2年∥月／日学位论文使用授权书本人完全同意中国石油大学(华东)有权使用本学位论文(包括但不限于其印刷版和电子版)，使用方式包括但不限于：保留学位论文，按规定向国家有关部门(机构)送交学位论文，以学术交流为目的赠送和交换学位论文，允许学位论文被查阅、借阅

4、和复印，将学位论文的全部或部分内容编入有关数据库进行检索，采用影印、缩印或其他复制手段保存学位论文。保密学位论文在解密后的使用授权同上。学位论文作者签名：丑醯山指导教师签名：!垄丝日期：肋／2年／月／日日期：弘f。年乙月『日中国石油大学(华东)硕士学位论文摘要当今社会伴随计算机技术的飞速发展与互联网技术的广泛应用，云计算的商业化及虚拟化越来越成熟，同时也有越来越多的计算服务依托于云计算来实现。目前在互联网中，计算机资源成爆炸式增长。为了满足大规模计算能力和海量数据存储与处理的需求，我们依靠云计算来建立能支持资源分布式存储和

5、集成并发计算的环境，这是一种有效的解决方案。本文结合大规模的石油地震勘探数据在处理过程中对高性能计算的需求，研究云计算环境下处理地震资料数据的并行调度问题。研究目的是提高数据处理的效率，充分高效的利用云计算资源，使任务透明、方便、高效的进行提交，并且使其快速匹配、高效执行在最优的计算资源中。由于地震资料数据天然的数据可分性，数据之间联系较少，相对来讲一个数据文件并发执行的效率也会越高。所以将大作业文件放到能够恰好满足任务计算能力需求的资源结点上执行，能够最大限度的充分利用已有的计算资源。这也要求必须根据任务和资源属性作业进

6、行划分。精确求解数据划分的最优化过程是较困难的，本文采用了改进的模糊聚类划分算法以作业与资源节点属性的匹配程度为基准进行分类划分求解。在划分完成后通过引入基于改进的贝叶斯分类调度算法将资源节点依据其实时负载情况与队列中的作业进行快速的匹配。经过实验验证，此方案具有较高的执行效率。关键词：云计算，并行调度，调度算法，MapReduce并行调度，大规模并行处理第一章引言ResearchintoParallelSchedulingBasedonCloudComputingXingYongshan(ComputerSciencea

7、ndTechnology)DirectedbyProf．LiangHongAbstractToday，withtherapiddevelopmentofcomputertechnologyandextensiveapplicationofIntemettechnology，cloudcomputingrealizedcommercializationbasically，virtualizationmoreandmoremature，therealealsomoreandmorecomputingservicebased01

8、1cloudcomputingtoachieve．CurrentlyontheIntemet,thecomputerresourcesaregrowingrapidly，inordertomeettheneedsoflarge—scalecomputing，andmassdatastorageandpr