基于.对等网络的分布式存储技术的研究与实现

《基于.对等网络的分布式存储技术的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第一章引言第一章引言信息技术的飞速发展使传统C／S模式中服务器的负载越来越重，服务器成为了制约存储技术发展的瓶颈。基于对等网络的分布式存储系统通过将资源分布存储在网络中的不同节点上，解决了传统C／S模式中服务器的瓶颈问题，得到了学术界和企业界的广泛关注。1．1研究背景随着信息技术的飞速发展，网络的规模越来越大，网络中信息的种类和数量急剧增长，如何使用户能从海量数据中快速、高效和安全地找到所需的数据，成为数据存储技术发展最大的挑战之一。80年代IIlt锄et的兴起，使得客户机／服务器(C1ient／s

2、erVer)模式得到了广泛普及。在客户机／服务器模式下，数据集中存储在网络中的少数几个服务器上，用户通过向服务器发送请求来获取所需的资源。在早期的互联网应用中，客户端的数量相对较少，客户机的运算速度较慢，网络带宽相对较窄，而对于存储资源信息的服务器来说，其软硬件和网络条件比普通客户机优越得多。但是111temet的飞速发展，对存储技术提出了更高的要求。首先，个人计算机的普及使得网络中的服务器拥有庞大的用户数量。这些用户向服务器发送高密度、海量的数据请求。[1】个人计算机性能的持续增强和接入带宽的不断

3、增加，用户难以再忍受以往过长的服务响应延迟。单纯地通过提高服务器端的软硬件配置和增加网络带宽已经不能满足用户日益增长的对服务质量的需求。其次，随着网络应用的不断发展，hltenlet中的资源不再像早期那样以数据量较小的资源为主。服务内容的多元化，使得通过InteIIlet共享的资源类型越来越丰富，单个文件的数据量也越来越大。客户机朋艮务器模式中服务器存储空间的增加难以跟上数据文件大小和数量的增长速度，使得服务器的数据汇集能力大打折扣。客户机／服务器模式所面临的挑战促进了分布式存储技术的产生。在分布式

4、存储系统中，资源不再集中存储在服务器上，而是存储在其他专用存储设备或节点上，服务器只存储资源属性信息和资源存储的索引目录。系统通过相互连接的各节点和设备间的合作完成资源的存取。这种存储方案虽然有效缓解了客户机／服务电子科技大学硕士学位论文器模式所带来的服务器存储空间不足、网络带宽瓶颈、系统扩展性低等问题，但是目录服务器依然是系统中的热点，制约着系统的性能。个人计算机性能的持续增强和网络带宽的不断增大导致处在网络中心的节点不堪重负，而网络边缘却存在大量的空闲资源，网络负载极不平衡。因此产生了基于对等网

5、络的分布式存储系统。在基于对等网络的分布式存储系统中，数据被保存在用户的计算机中，这些保存数据的计算机被称为对等结点(Peer)。由这些对等节点构建成的逻辑覆盖网络被称为对等网络(P2P网络)。在对等网络分布式存储系统中，节点不仅获取自己所需资源，还向其它节点提供服务，从而使系统的服务能力随需求的增长而自然增长。Napstd2】推出后迅速普及，此后越来越多的P2P软件发布和流行。但是由于对等网络中节点为客户端，因此网络节点会频繁地加入和离开，各个节点很难能够维持一致的网络拓扑信息和资源信息。随着P2

6、P用户的不断增多，大量用户和海量资源也增强了网络的动态性、资源的分布性、网络拓扑的复杂性，为基于对等网络的分布式存储系统带来了诸多难题。1．2研究目的与意义本文的研究目的是开发具有高可靠性、高动态性、高可扩展性和高保密性的分布式存储系统。为了实现系统的高动态性、高可扩展性和高保密性，项目采用基于对等网络的分布式存储框架，将资源分片存储在系统中的各个节点之上。基于对等网络的分布式存储系统通过利用网络中的空闲资源来提高整个系统的性能和可扩展性，自产生以来得到了飞速的发展。但是由于网络中的节点可随时加入和

7、退出，P2P网络存在更大的随机性、不确定性、不易管理性等问题。对等网络中没有集中的协调中心，网络中的对等节点没有整个系统的全局视图，全局的行为必须依靠局部的相互作用来完成。另外，对等节点及其相互之间的连接也都是不可靠的。因此，如何构建整个系统的网络拓扑结构，使得系统不仅能克服节点频繁加入和退出对整个系统性能的影响，而且具有网络维护开销低、网络扩展性好等优点，成为基于对等网络的分布式存储系统的框架构建中需要解决的一个关键问题。在非结构化对等网络中，资源的位置与覆盖拓扑完全无关。由于没有信息告知哪个节点

8、上有相关资源，资源的搜索在本质上等同于随机搜索，各个节点都被探测并询问是否有符合要求的资源。随着应用的不断增长，网络规模不断扩大，搜索算法的可扩展性和容错性直接影响到对等网络系统的性能和可扩展性。然而2第一章引言目前各种P2P网络中都缺乏有效的、可扩展的搜索机制。目前应用较多的基于Gnutella协议的对等网络，采用的是泛洪方式的资源查找算法，这种查找方式产生了大量的冗余消息，整个网络中的消息数量呈指数倍数增长，网络带宽消耗很严重，而一些改进方法却都存在着不足。限制范