云状全分布式可配置存储系统的研究

《云状全分布式可配置存储系统的研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、云状全分布式可配置存储系统的研究本文在明确云技术重要性的基础上，首先分析了云状全分布式可配置存储系统的设计原则，并进一步详细研究了云状全分布式可配置存储系统的设计。关键词：云状全分布式；可配置；存储系统1引言　　X络搜索引擎中的存储数据都会对存储系统有着不同的需求。比如：Google的文件系统针对大型文件采取了存储优化措施，一般将固定块的大小限定在64M，而针对小型文件，这样固定块的大小就会产生浪费现象。此外，Google文件系统的存储结构是基于MasterServer的。借助于MasterServer，可以在很大程度上保证运转的正常，但是Maste

2、rServer的部署却都经过干预，这样使得系统不是完全分布式的，对于系统的扩展也会造成一定的影响。　　因此，本文研究设计一个有效的可配置的存储系统，称为云状全分布式可配置存储系统，希望解决X络搜索引擎中存在的问题。2云状全分布式可配置存储系统的设计原则　　基于云角度进行分析，可配置存储系统不但可以应用于某个明确的领域，且能满足各项业务需求；比如：X络搜索引擎中涉及到的各类数据的存放。可见，云计算的对象仍然是那些对存储和计算有一定需求的用户端。本文研究的云状全分布式可配置存储系统是通过Key/Value接口进行一致性定义的，这样能够有效满足数据的增长以

3、及搜索率的提高。具体的设计原则体现在以下几个方面：一、伸缩性良好。存储系统中的服务器集群与云相类似，在每个时间段都有其不同的属性特征，在真正存储需求到达时，服务器集群就会整合在一起。而且，存储系统中的数据集合也与云相类似，属于一个文件的数据呈序列化紧密存储。二、具有透明的存储接口。当用户将需要存储的数据丢入云中，该数据具体存储至哪个服务器以及哪个分区内，用户不需要知道。当用户搜索所要关注的文件数据时，可以直接借助于句柄搜索文件数据，也不知道需求具体的搜索流程。三、具有全分布性。存储系统中的所有设备都是平等的，无主次的，并且保证设备节点的变换对其他设备

4、节点不会产生影响。四、具有可配置性。本存储系统是基于云状全分布式的，其中的设备都应该按照规范机制明确自己与周边设备在整个云状中的存储能力以及计算能力，这样遇到特殊存储要求的文件数据时，可以综合其已有的各种因素。3云状全分布式可配置存储系统的设计　　一个完整的云状全分布式可配置存储系统是十分复杂的，本文限于篇幅，着重研究数据分配以及副本同步这两大方面的设计。3.1系统数据分配的设计　　分布式DHTX存在众多的算法，所有算法的目标都是为了让Key有效与服务器实现映射。在本文的云状全分布式可配置存储系统中，提出了一个分布式的存储结构，如图3-1所示：　　图

5、3-1系统的数据分配图　　如图3-1，其中的服务器在进行入X之前，都会有几个NodeId与其相映射，而且这样的映射关系是1:N的关系。这样的映射关系能够很好地保证云状X络的负载均衡。此外，图中的Node的形状是一个圆，每个Node对应的圆大小不是固定不变的，它会根据云状中的服务器个数而发生变化。比如：云状中服务器较多时，映射对应的Node也会较多，这时Node对应的形状圆就会相应变大。而这个虚拟形状圆的主要作用就是为了实现良好的可配置性。虚拟形状圆中会涉及到多台服务器，这些服务器的配置不一样，决定了性能也会不同。而由于这个虚拟形状圆，可以很好地实现一

6、定范围内服务器间的资源流动。3.2系统副本同步的设计　　云状全分布式X络中的任何一个数据项，通过算法计算后，都会生成一个对应的Key。虚拟形状圆就是由最小值以及最大值所组成的圆，显然数据项对应Key位于最小值以及最大值的之间。存储系统运行时，首先沿着虚拟形状圆从最小值出发，定位到第一个Node（该Node的值要求大于Key），其次将数据保存到该Node对应的服务器内存中。这样的定位策略可以很好地保证当节点有更新时，对于云状中的其他服务器影响甚小。　　以图3-1的数据为例，如果一个数据项经过算法计算后，生成的key为195，通过虚拟形状圆的搜索，首先定

7、位的节点是209。如果在194及199间添加一个新的节点，编号是196，那么通过虚拟形状圆的搜索，就会直接定位到这个新增加的节点。可见，采用这样的定位设计，当节点有所变动时，只会对节点周边相关节点产生一定影响。　　此外，云状全分布式可配置存储系统借助于数据点后的两个备份节点实现系统的可靠性。仍以图3-1的数据为例，当数据定位到节点195，应该存储到最近的相关节点199，同时节点199后面的209以及288就成为了备份节点。这样的副本同步机制，当面临数据更改时，只会对两台相关服务器产生影响，而其他服务器不受牵连，体现了可靠性。4总结　　随着X络技术的发

8、展以及宽带化的部署，计算机的速度越来越快，价格也逐渐下降，这样为云服务开辟了很好的发展空间。由于云计算会极大