异构环境下云计算数据副本动态管理研究

《异构环境下云计算数据副本动态管理研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、AdissertationsubmittedtoZhengzhouUniversityforthedegreeofMasterDynamicManagementofDataReplicasofCloudComputinginHeterogeneousEnvironmentsByNingningZhang一Supervisor：Prof．LeiShi，Dr．YongcaiTaoTechnologyofComputerApplicationSchoolofInformationEngineeringMay,2013学位论文原创性声明

2、IllllIIIllllIIIlllIll’’jY2313396

3、本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人承担。学位论文作者：多伙宫奇日期：伽J弓年岁月2≯日学位论文使用授权声明本人在导师指导下完成的论文及相关的职务作品，知识产权归属郑州大学。根据郑州大学有关保留、使用学位论文的规定，同意学校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅；本人授权郑州大学可以将本学位论文的全部或部分编入有关数据库进行检索，可以采用影印、缩印

4、或者其他复制手段保存论文和汇编本学位论文。本人离校后发表、使用学位论文或与该学位论文直接相关的学术论文或成果时，第一署名单位仍然为郑州大学。保密论文在解密后应遵守此规定。学位论文作者：掀，≥宫日期：劢B年，月冲19摘要摘要随着云计算的发展及推广，众多涉及海量数据处理的应用蓬勃涌现。面对海量数据的存储需求，传统文件系统在容量及性能扩展方面存在瓶颈，分布式文件成为了云环境下各种应用的基础。为增强系统的可用性、可靠性和容错性，分布式文件系统采用了副本技术。副本技术是一种数据管理机制，将数据项复制多份分别放在分布式文件系统的多个节点上，用以提高系统的可靠性和访问效率。副本管理策略分为静态副本策略和动态

5、副本策略。静态副本策略基于已知的访问方式，在文件创建时确定副本的数目及放置位置，适用于资源环境稳定的情况。动态副本策略根据资源环境的变化而动态调整副本数目和位置，以适应不断变化的资源环境。现有HDFS(HadoopDistributedFileSystem)采用静态副本管理机制，副本因子默认为3，副本放置镱略是将一个副本存放在本地机架上的一个节点，一个副本放在同一机架上的另一个节点，最后一个副本放在不同机架上的一个节点。HDFS通过多副本来提高数据的可靠性和访问效率。然而，HDFS副本管理仍存在一些缺陷，比如，副本创建数目和时机固定，副本放置未考虑资源节点异构性。为解决这些问题，本文提出一种异

6、构环境下云计算数据副本动态管理模型DMDR(DynamicManagementofDataReplicas)。(1)在副本创建时，DMDR根据节点性能选择最优副本放置节点：(2)在系统运行过程中，基于灰色预测技术，DMDR根据数据的最近访问特征预测数据访问热度，并动态调整副本数目。实验表明，在异构环境下，较之现有HDFS副本管理机制，DMDR可有效减少节点之间数据传输，提高负载均衡，降低作业执行时间。关键词：云计算分稚式文件系统灰色预测副本管理负载均衡AbstractWiththedevelopmentandpromotionofcloudcomputing，manyapplicationsi

7、nvolvingmassdataprocessingareemergingrobustly．Whenfacingwiththestoragerequirementofmassdata,thereareboalenecksincapacityandperformancescalabilityofthetraditionalfilesystemandthedistributedfilesystembecomesthebasisofavarietyofapplicationsinthecloudenvironment．Inordertoerdaancethesystemavailability，re

8、liabilityandfault·tolerant，thereplicationtechnologyisadoptedbythedistributedfilesystem．Replicationtechnologywhichisakindofdatamanagementmechanismmakesmultiplecopiesfordataitemputtingonmultiplenodesoft