大规模机群文件系统的关键技术研究

《大规模机群文件系统的关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中国科学院计算技术研究所博士学位论文大规模机群文件系统的关键技术研究姓名：熊劲申请学位级别：博士专业：计算机系统结构指导教师：李国杰20060601摘要机群结构已成为高性能计算机的主流结构。随着CPU处理能力和通信速度的迅速提高，I／O成为制约机群应用实际性能的瓶颈。机群文件系统作为解决机群I／O瓶颈的核心技术，其研究具有重要的意义。机群文件系统的发展趋势为：第一，元数据处理与文件I／O分离：第二，利用大规模网络存储系统来提供多条数据I／O通路；第三，利用一组元数据服务器束提供多条元数据I^D通路。针对这种结构的机群文件系统，我们研究了其中的几个关键问

2、题，包括元数据的分布问题，元数据的一致性和快速故障恢复问题，以及PB级机群文件系统的相关问题。本文的主要贡献在于：(1)提出一种高效的大存储空间的管理策略——Bitmap—Extent混合策略。针对PB级机群文件系统，打破了传统文件系统基于一个块设备的限制，提出将机群文件系统与物理存储分离的一种逻辑空间策略，从而解决了文件系统容量受限问题和存储扩展问题等；而且针对PB级存储空间管理，提出一种基于位图与extent链表相结合的大规模存储空间管理机制，以提高存储空间的管理效率。(2)提出一种基于粒度的动态元数据分布策略。元数据分布问题是决定非集中式元数据处

3、理性能的关键问题。我们提出的基于粒度的动态元数据分布策略以提高元数据处理整体性能为目标，综合考虑元数据分布均衡度和文件系统层次结构关系两个因素对元数据处理整体性能的影响，按照一定粒度来划分名字空间和分布元数据，实验结果表明在模拟真实环境的负载下它的性能高于动态随机分布策略和动态根子树分布策略。(3)提出一种基于简化的两阶段提交协议的，故障后可快速恢复元数据一致性的分布式元数据处理协议。元数据一致性问题是影响分布式元数据管理的可靠性和高可用性的关键问题。为了解决元数据服务器之间的元数据一致性问题，我们将两阶段提交协议与元数据的处理协议结合起来，提出一种基

4、于简化的两阶段提交协议的分布式元数据处理协议，在元数据服务器失效或客户节点失效时，能够快速恢复文件系统的元数据一致性，保证文件系统的可用性。(4)设计和实现了面向多用户多任务环境的、支持大规模机群系统的、面向海量数据存储的机群文件系统DCFS2。在机群文件系统性能评价方面，提出从峰值性能、稳定性能，系统规模扩展性、元数据服务器扩展性、存储设备扩展性和存储I／O带宽利用率六个性能评价指标．并用这六个指标对DCFS2的性能进行全面评价．我们的结果表明，DCFS2能够获得比GFS等文件系统更高的聚合I／O带宽和聚合元数据处理性能。第六奇堆十简化的I哟阶段提交

5、的分布』￡，c数据处理协议(S2PC．MP)操作需要询问对方才知道该如何恢复(详见§6．6．2)。通过记录该分布式操作的协调者和参与者各自的标识符(c00I①INATORID和PARTICIPANTID)可以达到此此目的。第五，根掘R志记录要能够从另一方的日志文件中找出与该操作对应的日志记录。原因同上。通过该分布式操作在协调者上的序列号(OPSEQNO)及协调者的标识符(COORDINAroRID)可以解决此问题。第六，根掘同志记录要能够区分普通操作和分布式操作(ISDISTRIBUTEDOP标志)。因为还有很多普通操作，普通操作的恢复处理和日志记录清

6、除都不同于分布式操作。对于分布式操作，有两类日志记录：记录操作结果的日志记录(在图6．2中隐含在完成子操作后记录该日志)和记录两阶段提交状态的日志记录(在图6．2中都直接表示出来的)。实际上，这两类日志记录可以适当结合，这样，S2PC-MP的日志文件中只含有4种类型的日志记录：操作结果日志记录、“Commit”日志记录、“Abort”日志记录和“End”日志记录。具体说明如下：·操作结果日志记录是一个分布式操作日志记录的开始，该记录要设置OP．START标志，而且，该记录要设置上述的OPTYPE、MDSROLE、COORDINATOR—ID、PARTI

7、CIPANT_ID、OP_SEQNO、ISDISTRIBUTEDOP．当然，该记录还包括操作的结果．··对于协调者，其“Commit”日志记录或“Abort”日志记录是一个分布式操作的结束，该记录要设置OPEND标志。而对于参与者，其“Commit”日志记录或“Abort”日志记录却不是一个分布式操作的结束。·对于参与者，其“End”日志记录才是一个分布式操作的结束，该记录要设置OPEND标志。因此，在无MDS失效发生的情况下，一个分布式操作在协调者方的日志文件中按照顺序有如下两个记录：(1)Sub-opl的操作结果记录，(2)“Commit”记录或者

8、“Abort”记录．参与者方的日志文件中按照顺序有如下三个记录：(1)Sub-op2的操作结果