分布式文件系统元数据管理技术研究与实现

《分布式文件系统元数据管理技术研究与实现》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、分布式文件系统元数据管理技术研究与实现中国科学技术大学硕士学位论文分布式文件系统元数据管理技术研究与实现姓名：冯幼乐申请学位级别：硕士专业：网络传播系统与控制指导教师：朱明20100501摘要摘要分布式文件系统通过将多台机器的资源组织起来，对外提供统一的、大容量、高性能、高可靠，易扩展的文件服务，满足了大规模应用的要求，是目前存储领域研究的重点和难点。针对文件系统中元数据和文件数据存储和访问的不同特点，分布式文件系统通常包括数据存储系统和元数据管理系统。为应对大量的元数据操作请求，保障元数据操作的一致性和可靠性，元数据管理系统的设计与实现极其重要。本文

2、设计并实现了分布式文件系统LandFile的元数据管理系统，研究了分布式文件系统元数据管理的关键问题以及解决策略，具体内容如下：研究了面向节能的元数据服务器集群的负载调度策略：大规模应用中，能源问题越来越成为人们关注的焦点。本文在动态元数据管理策略的基础上，提出了一种面向节能的负载调度策略，通过在负载较低时，主动关闭元数据服务器集中负载，达到整体节能的目的。随着负载的增加，再逐步打开元数据服务器对外提供服务。良好设计的动态元数据管理策略保证了服务器加入和退出时的平滑扩展。实验表明面向节能的负载调度策略在负载低谷时，节能效果非常明显，对系统性能亦影响较小

3、。研究了元数据管理的一致性保障策略：分布式条件下元数据可能存在多个副本，许多元数据请求可能涉及多台元数据服务器，本文设计了基于主节点的元数据缓存架构，实现了多副本元数据的更新策略，针对分布式操作，设计并实现了基于两阶段提交的协议来保证其一致性。研究了元数据管理的可靠性保障策略：本文研究了元数据服务器的节点管理、故障检测以及故障恢复机制，实现了区域自治的节点管理方法和基于日志的可靠性保障策略，保证了元数据服务器单点失效时，能够被快速替换和恢复，失效时系统仍能无间断的提供服务。利用上述研究的负载调度策略，一致性保障策略与可靠性保障策略，设计并实现了元数据管

4、理系统，包括元数据请求处理和可靠性模块，改进了负载调度模块。所研究实现的元数据管理子系统，是863课题“新一代业务运行管控协同支关键词：分布式文件系统元数掘管理节能负载调度缓存一致性基于日志的故障恢复机制AbstractAbstractByconnectingmanycomputersfilecalltogether,distributedsystemprovideservicewithauniformstorageinterface，largecapacity,highperformance，andmeetstheneedofscalehigh。av

5、ailabilityhighscalability,whichlargeapplications．Distributedfilehasbeenadifficultandsysteminfields．popularstudypointstorageToaddressthedifferentaccessfeaturesoffiledataandmetadata,recentdistributedfilearedividedintosystemstwodataandthemetadataparts：thestoragesystemhandlemanageme

6、ntsystem．Tometadataandthecoherenceincreasingrequestskeepandofmetadataandreliabilityofoperations，thedesignmetadataimplementationarearticlemanagementsystemveryandtheimportant．ThisdesignedimplementedmetadataofdistributedfilemanagementsystemstudiedtheLandFile，andsystemkeyandsolution

7、sofmetadatainproblemsdistributedfilemanagementsystemsystem．Thisarticlefocusesonthemainlyfollowingaspects：Theloadscheduleofenergy-saving??orientedmetadataservercluster：instrategyscalecosthasbeenamoreandlargemoreapplications，energyimportantproblem．Basedonthemetadatadynamicanmanage

8、mentstrategy,weproposedloadscheduleenergy。savin