基于元数据关联特征的分布式查询方法研究

《基于元数据关联特征的分布式查询方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringResearchonCorrelation-BasedDistributedMetadataQueryMechanismCandidate:ZhuYunshengMajor:ComputerArchitectureSupervisor:Assoc.Prof.HuaYuHuazhongUniversityofScienceandTechnologyWuhan,Hube

2、i430074,P.R.ChinaJanuary22,2013独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。

3、本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在________年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文摘要信息技术的不断发展对信息存储高容量，高性能提出更高的要求，云存储应运而生。大规模存储系统的应用越来越广泛，存储容量从以前的TB（Terabyte）级上升到PB（Petabyte）级甚至EB（Exabyte）级。用户在使用海量存储空

4、间的同时，也发现数据的查找和管理变得越来越困难。现有的元数据管理方法存在可扩展性弱、查询效率低、实时性差等缺点。针对上述缺点，提出了一种基于关联特征的元数据查询方法，可以充分利用多维元数据的关联特征来提高查询效率。系统在局部灵敏哈希(LSH)聚集数据的基础上建立分布式索引。全局索引划分采用LSH哈希表桶内划分的方式来提升系统的扩展性，可以避免大量的数据迁移。索引的维护采用分层架构，每层独立配置，同时具有较好的可扩展性，方便系统管理。为了快速更新分布式索引，系统的索引采用文件存储，并基于版本批量更新。在这种架构下，查询请求采用基于代理的

5、处理模式，每个请求都会分配一台查询服务器作为代理，代理节点负责转发查询请求、收集查询结果并返回给客户端。通过测试，这种查询方法相对于传统的基于一维索引的方式查询效率有了显著的提高，并且系统的响应时间随着数据规模的增大而呈拟线性增长。同时，系统提出的基于版本的批量更新策略，使得系统的索引更新效率相对于MySQL数据库提升10倍左右。关键词：关联特征，元数据查询，批量更新I华中科技大学硕士学位论文AbstractContinuousdevelopmentofinformationtechnologyhasbroughtabouttheha

6、rshrequirementsforhighcapacityandperformanceininformationstoragesystems.Alarge-scalestoragesystemisbecomingmoreandmoreextensive,andstoragecapacityhasincreasedfromTB(Terabyte)toPB(Petabyte),evenEB.Whileusingthemassivestoragespace,usersfindthatdataisbecomingmoreandmoredif

7、ficulttosearchandmanage.Existingmetadatamanagementmethodshaveshortcomingsinbothscalabilityandqueryefficiency.Inviewoftheseshortcomings,acorrelationsbasedmetadatasearchmethodisproposed,whichtakesfulladvantageofmulti-dimensionalmetadatacorrelationstoimprovequeryefficiency

8、.MetadataisaggregatedwithLocalitySensitiveHash(LSH).GlobalindexisdividedinthewayofeveryglobalLSHbucketintosmal