网络12-1金乔基于DHT分布式云存储系统综述

《网络12-1金乔基于DHT分布式云存储系统综述》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于DHT的分布式云存储系统的综述金乔(计算机科学技术学院网络12-112号)摘要：随着信息爆炸式的增长，集屮式的存储方式的瓶颈效应愈发明显的遏制了数据存储的扩展性和并发访问的效率等，SAN和NAS等传统集中式存储系统越来越难以满足海虽数据存储的需要。为了解决诸如此类的传统存储的瓶颈问题，分布式存储系统和云存储系统和继被提出，并成为学术研究和商用的热点内容。分布式存储系统实现涉及并使用的技术有很多，本文主耍介绍基于DI1T的分布式存储系统，重点在搜索技术方面。1引言把用户的文件分片后均衡存储在不同的分布式存储节点上，并利用虚拟冃录服务器和基于P2P-DHT的F

2、1录服务器把文件元数据与文件数据片高效地对应起来，以提供高效目录服务，分布式存储节点以P2P方式工作以快速完成用户对文件数据的请求任务。分布式网络存储系统DNSS充分利用了DHT原理和P2P的搜索技术优势［3］,有鮫高的可用性、可靠性和可扩展性。P2P技术突破了传统的C/S架构的模式，具冇非常好的扩展性，但存在安全性、可控性问题［2］。利用DHT的资源管理优势和P2P的高扩展性，可以构建一个在全互联网范围内使川的町靠高效的海量分布式存储系统。而对于海量数据的分布式存储，主要涉及的技术问题是如何处理好数据的添加、删除以及最为重要的查找效率，本文结合分布式hash

3、表的一致特性，重点讲述一下如何构造一个基于DHT的分布式存储系统，当然主要内容是DHT原理部分［1］。2p2p网络和hash函数概述2.1p2p网络简介p2p网络乂称工作组，网上各台计算机有相同的功能，无主从之分，一台计算机都是既可作为服务器，设定共享资源供网络中其他计算机所使用，又町以作为工作站，没有专用的服务器，也没冇专用的工作站。在P2P网络环境中，成「上万台彼此连接的计算机都处于对等的地位，整个网络一般来说不依赖专用的集中服务器。网络中的每一台计算机既能充当网络服务的请求者，又对其它计算机的请求作出响应，捉供资源和服务。其主要分为两种：非结构化p2p网

4、络和结构化p2p网络［4］。前者有网络拓扑是任意的、内容的存储位置与网络拓扑无关的特点；后者网络拓扑结构是冇规律的，每个节点都随机生成一个标识(1D),内容的存储位置与网络拓扑相关，内容的存储位置与节点标识Z间存在着映射关系。2.2hash函数简介Hash函数可以根据给定的一段任意长的消息计算出一个固定长度的比特串，通常称为消息摘要(MD：MessageDigest),一般用于消息的完整性检验。Hash函数有以下特性:给定P，易于计算出MD(P)只给出MD(P),几乎无法找出P无法找到两条具有同样消息摘要的不同消息Hash函数MD5：消息摘要长度固定为128比

5、特；SHA-1：消息摘要长度固定为160比特。Hash函数应用于P2P的特性唯一性：不同的输入明文，对应着不同的输出摘要将节点1P地址的摘要作为节点1D,保证了节点1D在P2P环境下的唯一性SHA-1(“202.38.64.1”)=24b92cbld2b81a47472a93d06af3d85a42e463eao3DHT原理3.1DHT简述DHT(DistributedHashTable,分布式哈希表)算法就是使用分布式哈希函数来解决结构化的分布式存储问题［1］。分布式哈希表实际上是一张散列表，每个节点被分配给一个属于口己的散列块，并成为这个散列块的管理者。目

6、汕典型的DHT协议包括美国MIT的Chord＞UCBerkeley的pastry和CAN、纽约大学的Kademlia［2］。本文主要介绍chord和pastry0将内容索引抽象为〈K,V＞对K是内容关键字的Hash摘要K二Hash(key)V是存放内容的实际位置，例如节点IP地址等所有的＜K,V＞対组成一张大的Hash表，因此该表存储了所有内容的信息每个节点都随机生成一个标识(ID),把Hash表分割成许多小块，按特定规则(即K和节点1D之间的映射关系)分布到网络中去，节点按这个规则在应用层上形成一个结构化的重叠网络给定杳询内容的K值，可以根据K和节点TD之间

7、的映射关系在重叠网络上找到和应的V值，从而获得存储文件的节点IP地址，如图1所示。将分割的hash表按一定的规则分配到p2p网络的个节点上3.2DHT搜索原理DIIT搜索技术主要涉及定位和路由两部分：定位(Locating)节点ID和具存放的＜K,V＞对中的K存在着映射关系，因此可以由K获得存放该〈K,V＞对的节点ID路由(Routing)在重叠网上根据节点ID进行路由，将查询消息最终发送到目的节点。每个节点需要有到其邻近节点的路由信息，包括节点ID、IP等网络拓扑拓扑结构由节点ID和其存放的＜K,V＞对屮的K之间的映射关系决定拓扑动态变化，需要处理节点加入/

8、退出/失效的情况，如图2所示。4Cho