数据中心优化放置和容错存储策略研究

《数据中心优化放置和容错存储策略研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文数据中心优化放置和容错存储策略研究THERESEARCHONTHEOPTIMIZEDPLACEMENTSTRATEGYANDFAULTTOLERANTSTORAGEINDATACENTERNETWORK杨兆政哈尔滨工业大学2017年12月国内图书分类号：TP393.01学校代码：10213国际图书分类号：004.722.46密级：公开工学硕士学位论文数据中心优化放置和容错存储策略研究硕士研究生：杨兆政导师：秦阳副教授申请学位：工学硕士学科：计算机技术所在单位：深圳研究生院答辩日期：2017年12月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP3

2、93.01U.D.C:004.722.46AdissertationsubmittedinpartialfulfillmentoftherequirementsfortheprofessionaldegreeofMasterofEngineeringTHERESEARCHONTHEOPTIMIZEDPLACEMENTSTRATEGYANDFAULTTOLERANTSTORAGEINDATACENTERNETWORKCandidate：ZhaozhengYangSupervisor：AssociateProf.YangQinAcademicDegreeAppliedfor：M

3、asterofEngineeringSpecialty：ComputerTechnologyAffiliation：ShenzhenGraduateSchoolDateofDefence：December,2017Degree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学硕士学位论文摘要随着云计算的快速发展，数据中心作为云计算的核心基础设施也开始了高速发展，传统数据中心的集中式网络分布被打破。随着分布式取代了集中式，当今数据中心对海量数据的高效存储和管理，大量而多变的通信交互模式和低往返时延等方面提出了很

4、高的要求，传统的协议和算法难以在现有数据中心网络中发挥功效。近几年来，大量的研究工作围绕着如何优化数据中心中数据的放置和存储策略展开，这些研究工作主要包括两个方面：第一，如何实现一种高效的内容放置策略，选择最优的放置节点，减少访问时延，同时改进节点负载均衡。第二，如何实现一种具有容错性的存储策略，减少节点失效后，数据恢复的时间，最小化节点失效的影响。强化学习算法是一种与动态规划相关的算法，适合解决数据放置这类优化的问题。本文将强化学习算法应用到数据中心内容放置问题中，提出了基于强化学习算法的优化放置策略，并应用纠删码技术提出了基于关联性的容错存储策略。针对数据中心的内容放置

5、策略，本文第一部分将强化学习算法中的Q学习方法应用到数据中心网络的内容放置中，通过最优化平均链路带宽和节点存储负载建立放置模型，设计了运用Q学习方法的副本数据放置策略。课题采用的是以交换机为核心的架构中广泛使用的Fat-tree数据中心网络拓扑结构。课题中放置算法主要考虑了放置路径的平均链路带宽，数据访问延迟和存储节点的负载，建立相应的联合函数，作为评价放置策略的标准，由于评价策略综合考虑了链路状况和节点的负载，仿真实验表明，系统在运行一段时间后，该放置策略能有效的平衡节点负载，同时网络平均延迟较小。考虑编码之后数据块放置的合理性，本文在第二部分提出了基于编码数据平衡的容错

6、存储策略。现有放置策略主要基于冗余度和访问时间，针对编码数据关联导致的数据失效问题，本文提出了平衡分类的存储策略。实验表明，该放置策略能有效减少数据失效概率，优化数据访问时延，增大平均无故障时间。关键词：数据中心网络；放置策略；Q学习；纠删码-I-哈尔滨工业大学硕士学位论文ABSTRACTWiththerapiddevelopmentofcloudcomputing,thedatacenterasthecoreinfrastructureofcloudcomputinghasalsobeguntogrowrapidly.Thecentralizednetworkdistri

7、butionoftraditionaldatacentersisalsobroken.Withtheframeofdistributedinsteadofcentralized,today’sdatacentersplacehighdemandsonefficientstorageandmanagementofmassivedata,alargenumberofcommunicationmodeswithfrequentchangesandlowround-tripdelay,etc.Thetraditionalp