云数据中心基于超图的存储优化节能算法研究

《云数据中心基于超图的存储优化节能算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、劣蠊交硕士学位论文云数据中心基于超图的存储优化节能算法研究ResearchoftheStorageOptimizationforPowerReducingBasedonHypergraphinCloudDataCenter作者：谢其扬导师：徐保民北京交通大学2013年7月学位论文版权使用授权书IilllIllllilUIrllIIIIillY2428691本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索，提供阅览服务，并采用影印、缩印或

2、扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。(保密的学位论文在解密后适用本授权说明)学位论文作者签名：翩繇撕眠签字日期：切1多年勿邛日签字日期：加，乡年石月2矽日中图分类号：TP316．4UDC：004．75学校代码：10004密级：公开北京交通大学硕士学位论文云数据中心基于超图的存储优化节能算法研究ResearchoftheStorageOptimizationforPowerReducingBasedonHypergraphinCloudDataCenter作者姓名：谢

3、其扬导师姓名：徐保民学位类别：工学学科专业：计算机科学与技术学号：10120524职称：副教授学位级别：硕士研究方向：云计算北京交通大学2013年7月致谢本论文的工作是在我的导师徐保民副教授的悉心指导下完成的，徐保民老师严谨的治学态度和科学的工作方法给了我极大的帮助和影响。徐老师悉心指导我们完成了实验室的科研工作，在学习上和生活上都给予了我很大的关心和帮助，在此衷心感谢三年来徐老师对我的关心和指导，向老师表示深深的感谢。在实验室工作及撰写论文期间，黄鹏、徐万鑫、王云峰等同学对我论文中的算法设计和遇到的问题给予了热情帮助，

4、在此向他们表达我的感激之情。另外也感谢家人和所有关心我的朋友们，他们的理解和支持使我能够在学校专心完成我的学业。摘要随着数据密集型计算需求的快速增长，采用MapReduce框架的云数据中心日益流行。其中，能耗问题已成为基于MapReduce框架的异构云数据中心当今急需解决的问题。为了能够提供超大规模数量级的数据存储、处理能力，以及提供良好的可靠性、抗灾性和处理性能，通常将MapReduce框架部署在具有数万节点的大规模集群上，同时对数据使用副本技术进行数据冗余。虽然副本技术可以提高系统的可用性和容灾性，但它也引入诸如副本

5、一致性、负载均衡等问题。特别是多副本意味着多份的高昂设备运营成本，这必然会对系统能效的提高产生消极影响。本文在对Hadoop的默认副本放置策略进行分析的基础上，提出了一种基于超图的数据副本节能算法。该算法通过对由服务器和任务构造的超图求解其横贯，得到集群中关于数据副本和服务器的一个良好的覆盖结果。通过数据和任务的迁移，关闭处于空闲状态的服务器节点，提高了数据中心内服务器的使用效率，进而降低系统的能耗。为了验证本文所提出的算法的有效性，我们与覆盖集发现算法CS．k进行了对比实验。实验结果表明本文所提出的算法在保证数据完整性

6、、可用性方面具有一定的优势。在同样的运行环境下，节能效率也好于CS．k算法。关键词：数据中心；能效；超图；副本分类号：TP316．4ABSTRACTWiththerapidgrowthfordata-intensivecomputing，clouddatacenterinMapReduce丘ameworkincreasemorepopular．Theenergyconsumptionhasbecomethemostimportantproblemaboutheterogeneousclouddatacenterwhich

7、isbasedonMapReduceframework．Inordertoprovideultra-large—scaleofdatastorage，processingpower,andgoodreliability,resilienceandhandlingproperties，MapReduceframeworkistypicallyd印loyedinalarge．scaleclusterswiththousandsofnodes．Thereplicasareusedtodataredundancy．Althoug

8、hthereplicasCanimprovetheavailabilityanddisasterrecovery,butitalsointroducessuchasreplicaconsistency,loadbalancingandotherissues·Especiallythemorereplicas，them