基于网格的分布式存储系统的研究与设计

《基于网格的分布式存储系统的研究与设计》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于网格的分布式存储系统的研究与设计本文提出一种基于X格的校布式存储系统，对该存储系统实体，用户读写读写过程，存储资源调度和存储资源定位进行了研究，最后通过对通过和FTP进行文件上传和下载性能进行了测试，证明了本系统文件传输性能比FTP要高，并且文件越大，读写性能增幅越大。关键词：X格技术；存储系统；分布式；资源调度引言　　分布式存储技术的采取附X存储（NAS）、存储区域X（SAN）等存储技术，它在一定程度上改善了用户对存储空间需求的紧张局面，但在具体实施的环节上确实还存在着不少问题[1]。如何利用分布于X络中各个异构主机节点之上的不可靠空闲存储资源来构建大规模、高效率、易扩展、高可靠

2、的存储系统来满足用户对信息与数据需求的增长是存储技术迫切需要解决的问题。基于X格的分布式存储能很好的解决上述问题，本文把将X格存储技术应用到分布式存储上，完成基于该技术的高效的资源节点查找，存储资源调度和分配，实现X络间的数据恢复、分配、回收，可以在不同种类的节点之间共享资源等优点，可以为分布式数据应用提供很好的技术基础。1.X格分布式存储系统设计思想　　X格分布式存储系统的基本思想是利用X格存储技术，通过X络将X内零散的存储设备连接起来，汇集这些设备上的空闲存储空间，形成一个高可扩展、高可靠、高性能分布式存储系统。　　系统为了将各节点主机的存储空间构建成一个大从系统功能的角度可以将系

3、统分为3层：应用层、服务层和资源层。图1显示了系统层次结构。图1X格分布式的系统层次结构　　应用层：用户通过用户界面直接与应用层交互。通过应用层提供的资源服务接口，用户看到的将是一个虚拟的海量存储空间，用户可以上传、下载、共享自己的资源，也可以访问由其他用户共享出来的资源。应用层主要包括用户管理模块和资源提交模块。用户管理模块负责对系统中的用户统一管理，用户按角色分类，各个角色的用户具有不同的操作权限，主要包括存储用户的中请注册、增加、修改等功能。　　服务层：服务层是用户使用X资源的一个窗口，主要包括四个模块。　　（1）用户读写模块：用户登录到存储系统后，将所在节点名、主机IP地址、需

4、要上传/下载的文件名称等基本信息报告给X格中心，并实现读写文件操作。　　（2）资源调度和分配模块：资源调度的目标是当用户通过接口提出任务请求时，尽可能高效及时地在分布式存储系统中找到合理的资源。　　（3）资源定位模块：主要功能是给定一个资源的描述，资源定位部件返回一个或者多个满足该描述的资源的位置。　　（4）资源更新模块：当用户进行读写操作或当存储节点加入或离开时，需要对系统进行更新。文中具体表现在对全局目录索引及活动节点列表更新机制的研究上。　　资源层：由地理分布的具有存储空间的主机即系统节点以及连接它们之间的底层X络构成。将社会中人们喜好的就近原则应用到系统设计中，系统将存储节点根

5、据地理位置划分为不同域。　　自组织结构采用自组织和自管理形式，包括自我配置、自我优化、自我防护、自我治愈等。本系统采取混合组织结构[2]。节点组织结构如图2所示。　　　　　　　　　　　　　　　图2X格服务环境下存储节点组织结构　　由于X格服务环境本身就是一个集中控制的平台，并不是像对等X络那样完全非集中控制。所以系统采用一种树和X相结合的混合拓扑结构。为了方便资源的创建与管理，系统中的各节点组成不同的域，中心节点和域内节点形成树状的逻辑结构，采用树的结构是模型中多域管理策略的前提；同时对于同一域内的不同节点用X形结构将它们相互连接起来，有利于同域节点之间相互查询，提高了它们之间数据传输

6、读取的效率，减轻了中央节点的传输负担和查询负担，有利于系统的稳定性。　　在系统中选择存储能力较强并且稳定性较高的小型机作为服务节点。服务节点的功能类似于集中目录式X络中的服务器，这些节点在系统中不会像普通节点一样随时可能退出系统。所有域内服务节点建立域内索引来管理本域内普通节点。域内所有控制权在域内服务器节点上。而普通节点会加入逻辑位置接近的服务节点所在的域中。任何普通节点不仅可自由的加入或退出一个域，而且普通节点之间可以相互访问。在X格中心建立全局索引，只管理所有服务器。这种组织机制具有如下一些优点：当节点加入或离开X络时，只需域内索引上加入或删除。同一域内的不同节点用X形结构将它们

7、相互连接起来，会有较高的运行效率，与集中目录式模型中相比，单点失效带来的冲击也小了很多。同时，由于服务节点的存在，增加了数据访问的可靠性和效率。同时，由于中心节点的负载较轻，可以在一定程度上支持更多的资源信息查询。在这种结构下，单个域节点的失效并不影响其他节点的功能，具有较好的可靠性。2.实现机制2.1写过程　　用户向系统写文件是指用户将本地磁盘中的文件上传到X格分布式系统系统的操作。当用户向全局空间写文件时，为了将文件分布式保存到X络各节点的