分布式存储中的资源索引技术研究

《分布式存储中的资源索引技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、独创性声明洲帅㈣删洲㈣Ⅲ删㈣ⅢY2508168本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得逝婆盘堂或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：久俺琴签字日期：弘f，年。>月“日学位论文版权使用授权书本学位论文作者完全了解逝’江太堂有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和

2、借阅。本人授权迸’江盘堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。(保密的学位论文在解密后适用本授权书)学位论文作者签名：k膨吞签字日期：加I，年o>月“日⋯名：与亨早签字日期：劢7弓年多月彩日学位论文作者毕业后去向：工作单位：枷州椤很融何禾恢希嗽司电话：嘶f一芬7哆《姆通讯地址：棚节浓彪侣枇7雪确产土艚脏为棒邮编：纠。啮了浙江大学硕士学位论文摘要互联网的快速发展导致数据量的不断膨胀，单一节点的存储容量难以满足海量数据存储的要求，用户对容量巨大、安全、高效、可靠的分布式存储系统的需求也越来

3、越大。传统的分布式存储系统通常部署在稳定可靠的节点上，难以有效利用P2P网络中大量的存储空间和计算资源。如何利用这些空闲的存储和计算资源以构建大容量、高可用的存储服务平台是当前分布式存储领域的研究热点。本文分析了P2P网络的特点以及当前分布式存储系统在资源检索方面的特点，提出并实现了一个基于信誉的倒排索引框架ROIN；根据DHT结构的特点，设计了一个基于分组和信誉的负载均衡分布式存储与资源索引框架LBGR。ROIN框架通过双层DHT网络进行资源检索，实现了关键字模糊搜索，克服了传统DHT结构的不足；针对P2P网络中节点动态性强的特点，建立了节点信誉模型并

4、计算节点的信誉值，在此基础上选取高信誉值的节点作为索引节点，从而避免了将索引信息存储在不可靠节点上，提高了系统的可靠性。通过搜索覆盖率、搜索延迟、索引节点负载和网络扰动等方面的实验，以及一系列与GlusterFS、PaS竹、PCIR的对比实验，证明了ROIN能够在P2P网络上建立一个健壮、有效的资源索引框架。由于ROIN是分布式的资源索引框架，同样存在数据一致性等普遍存在于分布式资源索引系统中的问题，本文提出了一种新型的资源索引框架LBGR。LBGR采用了分组和信誉相结合的资源管理策略，实现了基于DHT结构的资源索引技术。通过信誉系统的评估，LBGR框架

5、选择高信誉值的节点作为超级节点并对恶意节点进行有效遏制；通过基于虚拟节点的负载均衡策略，解决了DHT系统中普遍存在的负载均衡问题。模拟实验验证了所提出的负载均衡算法的有效性，其结果可与集中式负载均衡算法相比拟。通过与GlusterFS的比较分析，LBGR显示了在应对P2P网络节点动态性方面的优势。上述两种不同的资源索引框架均能运行在P2P网络上，各具优势，并通过实浙江大学硕士学位论文摘要验证明能提供可靠高效的服务，具有实际应用价值。关键字：分布式存储，倒排索引，信誉，负载均衡，资源索引，可扩展性浙江大学硕士学位论文Abst期【ctAbstractThee

6、xpaIlsionoftlleInt锄etleadstotller印idgrowtllofinfomation，w虹chMngsaboutu唱entneedsforr印id，e伍cient锄dreliablemaSsstoragesystems．Traditionaldi矧butedstoragesystemsareusuallydeployedonst暑Ible锄dreliablenodes；t11eref．0ret11eyc锄otmal【ereaLsonableuseoftllestoragespaCe锄dcomp西ngresourcesofnode

7、sintlleP2Pnetwork．Howtomal(e如lluseoftlleseidlestoragespaCeaIldcomputingresourCestoconstmctadistributedstoragesystembasedontlleP2PtecllIlolo西eshaSbecomeahottopicinmedistributedstorageresearcharea．Int11ispaper，tllecharact西sticsofexistingdi嘶hltedsto瑚喀esystems锄dresourceindexingtechno

8、lo西esarestlldied；a11dt、voresourceiIldexi