异构Hadoop集群环境下数据副本动态管理研究

《异构Hadoop集群环境下数据副本动态管理研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：ＴＰ３９１学校代码：１０６９７：２０１５２０９３４密级：公开学号馨如ｄＩ？士字位论文Ｍ’ＡＳＴＥＲＳＤＩＳＳＥＲＴＡＴＩＯＮ异构Ｈａｄｏｏｐ集群环境下数据副本动态管理研究学科名称：通信与信息系统作者：刘洋指导老师：吴奇石教授西北大学学位评定委员会二Ｏ—八年六月ResearchonDynamicManagementofDataReplicasinHeterogeneousHadoopClustersAthesissubmittedtoNorthwestUniversityinpartialfulfillment

2、oftherequirementsforthedegreeofMasterinCommunicationandInformationSystemByLiuYangSupervisor:WuQishiProfessorJune2018摘要摘要Hadoop中数据及其副本如何更好的存放和管理是HDFS中亟待解决的问题。在实际中，Hadoop同构下默认的数据放置策略对异构环境下的设想存在一定的局限性，在异构环境下使用可能会增加额外花费和降低MapReduce的性能。本文首先基于灰度预测模型预测文件数据的热度，提出了一个动态的数据副本放置策略，该策略包括了动态实时计算数据块的副本数

3、，考虑了数据块热度和异构集群下各节点的性能特性，可以根据数据块热度进行实时动态调整。本文的研究内容主要包括以下几个方面：（1）针对数据热度预测问题，通过分析大量历史文件数据的访问请求次数，发现其在某个时间段内具有一定特征，为了能够找出这种特征，本文采用了一个灰度预测模型，在某个特定时间段下，通过对历史数据块请求次数进行预测，用于得到对下一个时间段的数据块热度预测结果。（2）针对静态数据副本因子所存在的缺陷，使用了一个实时热度副本计算方法，结合动态权重和当前数据块的热度，即数据块的访问率，以便得到该数据块应有的副本数。（3）针对异构集群，提出了一个动态的数据放置策略，结合各

4、个节点的计算能力、磁盘存储空间、IOPS（Input/OutputOperationsPerSeconds磁盘每秒读写操作次数）等参数不一致的情况，来决定这个新的副本什么时候放置，放置在哪个节点上。（4）在仿真系统中对该策略进行实验，结果表明本文提出的动态数据副本放置策略比Hadoop中默认的静态数据放置策略的性能高、系统执行时间快、降低了网络访问竞争和减少了用户响应时间。关键词：Hadoop，异构集群，副本管理策略，动态副本放置，灰度预测IABSTRACTABSTRACTItisanimportantproblemtostoreandmanagedataandthere

5、plicasinHDFS.TheassumptionmadebythedefaultdataplacementstrategyonhomogenousHadoopclustershassomelimitationsinheterogeneousenvironmentsasitmayincuradditionalcostsandreduceMapReduceperformance.Inthisthesis,wedesignadynamicdatareplicaplacementstrategythatemploysthegraypredictionmodeltopredic

6、tthehotnessofdata.Theproposedstrategydeterminesthenumberofreplicasfordatablocksinreal-time,consideringthehotnessofeachdatablockandtheperformancecharacteristicsofeachnodeinaheterogeneouscluster,andadaptivelyadjuststhenumberofreplicasbasedontheircorrespondingdatahotness.Thisthesishasthefoll

7、owingcontents:(1)Forthedatahotnesspredictionproblem,weanalyzealargenumberofaccessrequestsinhistoricaldataandobservesomeuniquecharacteristics.Weuseagraypredictionmodeltopredictthedatablocksoveracertaintimeperiodtoobtainthepredictionresultsofdatablockhotnessinthenextt