探析一种自适应海量存储系统组织策略及关键技术研究

《探析一种自适应海量存储系统组织策略及关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、华中科技大学博士学位论文一种自适应海量存储系统组织策略及关键技术研究姓名：赵振申请学位级别：博士专业：计算机系统结构指导教师：谢长生20060714华中科技大学博士学位论文摘要数字化信息爆炸性的增长引发了IT技术的第三次发展浪潮——存储技术浪潮。新的技术浪潮促进了网络存储技术的发展，尤其作为网络存储技术代表的NAS和SAN技术，一经提出便获得了飞速发展。但实际应用中，这些方法的局限性也日渐呈现，其可扩展性、可管理性成为构建更大规模存储系统的瓶颈。文中介绍了一种融合面向对象存储和P2P节点自组织技术的存储网络系统——自

2、适应的海量存储系统(SASS:self-adaptivestoragesystem)，并对构建这种系统的若干关键技术进行了研究。与传统的存储系统相比，这一系统的特点主要体现在高度的可扩展性、高度易管理性和逐步提高的系统性能。与传统的基于块设备的系统不同，SASS结合面向对象存储技术，以文件为粒度进行存储空间分配，消除了系统对异构设备的敏感性，降低了系统的扩展成本。同时具体文件的元数据管理负担分布于各个节点，整个系统的元数据管理更加简洁。SASS通过各节点保存一定冗余信息，在少量存储设备，特别是个别关键节点失效情况下，

3、依然能够进行访问，并且能够依靠自身信息完成关键节点信息重构。同时，根据内外条件变化，各节点以及节点间进行不间断适应性调整。这意味节点具有高度自治特性，对中心管理依赖很低，整个系统具有高度自动适应特征和易管理特性。SASS使用基本能够满足负载均衡的存储空间分配策略，同时依据设备特性、文件访问特性等信息对文件分布调整，充分利用所有设备的能力；通过数据相关性挖掘，获取用户访问习惯等信息，并根据取得信息对系统内部，如数据存放、cache等策略进行调整，适应外部访问特性的变化，始终对外提供优秀的整体性能。研究内容具体包括以下几

4、个方面。在阐述了当前网络技术应用状况和网络文件系统发展现状的基础上，讨论了网络存储技术发展方向。针对网络存储的可管理性、可扩展性以及智能化技术作了重点论述。最后说明研究意义及主要研究内容。针对存储技术发展中存在的管理、扩展和自适应问题，本文引入了自适应海量存储系统的概念。在详细说明了概念提出原因和特征的基础上，描述了SASS的基华中科技大学博士学位论文本体系结构的构成。进而说明了存储空间组织原则，包括存储空间分配、命名空间组织等，并分析了文件和目录分离状态下元数据操作原则。同时介绍了研究SASS时使用的访真软件Ess

5、Sim。最后分析了本文主要研究的问题。海量存储系统中设备数量庞大，设备间存在明显性能差异。如何有效组织和管理所有存储设备，以及充分合理利用所有设备能力，是SASS需要解决的根本性问题之一。SASS采用的方式为：总体上的半分布式拓扑结构；各自治域内，参考P2P系统具有高度自适性的节点管理策略，采用依据设备性能特点，自我组织、自我调整的分层结构，能够自动适应不断变化的系统状态。如何选择合理有效、可靠的数据组织策略，是SASS需要解决的另外一个根本性问题。在SASS存储空间分配策略基础上，讨论了存储节点内部组织和优化，以及

6、适应负载变化，可调整文件级RAID等问题。通过这些问题的讨论为方便和深入研究和设计海量的自适应存储系统提供了有力基础。针对不同用户数据访问的局部性、可预测性，以及节点内部连续访问的离散小数据之间具有的关联性，提出了一种挖掘数据相关性的启发式算法，并讨论如何根据这些相关性信息对数据采取预取和布局调整，以适应外部访问特性变化。根据数据快照是当前数据保护、备份等功能中核心技术之一。以前面研究内容为基础，设计并实现了目录级和块设备级快照系统原型。关键词：网络存储自适应分配策略数据相关性快照华中科技大学博士学位论文Abstra

7、ctTheexplosiveincreaseofdigitaldatainvokesthethirddevelopmentwaveoftheITtechnology,i.e.,thestoragetechnologywave,whichpromotestheresearchofthenetworkstoragetechnology,representatively,theNASandSAN,todeveloprapidlyrightaftertheycameintouse.Unfortunately,inpracti

8、ce,somedisadvantagessoonappearintheNASandSAN.Especially,themanagementandtheexpansibilitybecomethebottleneckofconstructingmorelagernetworkstoragesystem.Thennewstoragearchitec