基于模糊聚类的云任务调度优化策略研究

《基于模糊聚类的云任务调度优化策略研究》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、硕士硕士学位论文董世龙基于模糊聚类的云任务调度基于模糊聚类的云任务调度优化策略研究优化策略研究董世龙二○一四年六月2014分类号密级UDC硕士学位论文基于模糊聚类的云任务调度优化策略研究董世龙学科专业计算机软件与理论指导教师陈宁江教授论文答辩日期2014年5月24日学位授予日期答辩委员会主席王汝凉教授广西大学学位论文原创性和使用授权声明本人声明所呈交的论文，是本人在导师的指导下独立进行研究所取得的研究成果。除已特别加以标注和致谢的地方外，论文不包含任何其他个人或集体已经发表或撰写的研究成果，也不包含本人或他人为获得广西大学或其它单位的学位而使用过的材料。与我一同工作的同事

2、对本论文的研究工作所做的贡献均已在论文中作了明确说明。本人在导师指导下所完成的学位论文及相关的职务作品，知识产权归属广西大学。本人授权广西大学拥有学位论文的部分使用权，即：学校有权保存并向国家有关部门或机构送交学位论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或其它复制手段保存、汇编学位论文。本学位论文属于：□保密，在□不保密。年解密后适用授权。(请在以上相应方框内打“√”)论文作者签名：日期：指导教师签名：作者联系电话：日期电子邮箱：基于模糊聚类的云任务调度优化策略研究摘要云计算作为解决大数据和

3、分布式计算的主要技术手段，将集群资源以按需服务的方式提供给最终用户，而如何有效合理地分配资源和调度任务，已成为影响云计算应用效率的重点与难点，直接影响着云平台的整体性能和用户的使用满意度。云环境下集群主机节点存在着大量的异构性、多样性、不确定性和模糊性，很难准确地对资源和任务进行描述，如何分配资源去完成具有不同需求的作业任务存在复杂性。而基于模糊聚类的云资源划分和云任务调度已经成为业界的研究热点，但是随着集群规模不断壮大，云环境下拥有的主机数量已达到成千上万的规模，随之而来的问题是传统串行的模糊聚类划分算法在应对高维、超高维矩阵运算时存在运算量大、运算效率低、运算空间不足

4、等问题，导致聚类耗时过长，无法满足云计算环境中集群资源聚类的时效要求。因此，需要对传统串行模糊聚类算法进行优化和改进，才能更好地应用于云计算领域。首先，针对应用于云计算环境下的传统串行模糊聚类划分算法进行研究，对比分析了三种传统聚类算法（传递闭包法、最大树法和编网法），并总结了它们的特点和不足，提出了基于模糊等价关系和模糊相似处理的优化和并发策略，能够减少聚类的运算量，提高聚类运算效率，大幅缩短聚类耗时。实验结果表明，提出的优化和并发策略能够有效解决现有工作在面对中小规模云集群资源聚类划分过程中聚类耗时开销过大的问题。然后，针对现有工作在面对大规模集群资源聚类运算时，传统

5、模糊聚类算法始终存在的运算内存不足、计算量超大，直接导致无法进行云集群I资源聚类划分运算的问题，提出一种基于MapReduce框架的模糊聚类算法并行化实现方案，并提出通过构造一个“同构”小型云去调度一个“异构”大型云的设想。实验结果表明，提出的并行策略具有良好的加速比和扩展性，能够有效解决现有工作在面对大规模云集群时无法进行资源聚类划分的问题；并通过与并发策略结合使用，可适用于各种规模的云集群资源模糊聚类划分工作。最后，针对现有Hadoop调度算法在异构性方面存在的调度效率低下的问题，将并发和并行后的模糊聚类研究成果应用到Hadoop集群的资源划分工作中，提出了一种基于模

6、糊聚类和性能评分机制的Hadoop调度器（FC-PSScheduler），并通过仿真实验说明了FC-PSScheduler的有效性。关键词：云计算模糊聚类资源聚类Hadoop任务调度IIRESEARCHONOPTIMIZATIONOFCLOUDJOBSCHEDULINGSTRATEGYBASEDONFUZZYCLUSTERINGABSTRACTAsamajortechnicalsolutionofbigdataanddistributedcomputing,cloudcomputingprovidestheclusterresourcestotheendusersinth

7、eformofon-demandservices.Howtoallocateresourcesandschedulejobseffectivelyandreasonablyhavebecomethekeypointsanddifficulties.Itnotonlyhasaninfluenceontheefficiencyoncloudcomputingapplications,butalsohasadirectimpactontheoverallperformanceofcloudplatformandusersatisfa