高扩展rdf数据存储系统的研究 (1)

《高扩展rdf数据存储系统的研究 (1)》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeoftheMasterofEngineeringResearchonHighlyScalableRDFDataStorageSystemCandidate:LiuPuMajor:ComputerArchitectureSupervisor:Assoc.Prof.YuanPingpengHuazhongUniversityofScience&TechnologyWuhan430074,P.R.ChinaJanuar

2、y,2012独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编

3、入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在_____年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文摘要由于RDF（ResourceDescriptionFramework）数据具有表达灵活，数据交换方便等优点，其数据量在以惊人的速度增长。传统的RDF数据存储系统或以关系数据库为存储后端，或以本地存储方式存储数据，但是这些存储方式在存储大规模的RDF数据时都面临着扩展性问题。在存储大规模RDF数据

4、时，需要降低数据的存储空间并加速查询处理。但目前提出的存储方式不够紧凑且存在大量的冗余数据，导致在生成查询计划和执行过程中消耗了大量的时间。高扩展的RDF数据存储系统TripleBit旨在为大规模RDF数据提供一个高效的存储和查询方案。利用RDF数据特点，系统将RDF数据表达成一个位图矩阵。为了降低数据占用空间，在数据存储时针对各个数据表特征和作用设计了相应的压缩算法。在底层具体存储时采用了基于内存的存储方式降低了系统在存储和查询时的I/O开销，并采用了数据分块的存储方法，既使得存储管理方便又使得存储结构紧凑，加速了查询处理。为了提高RDF

5、数据查找的速度，系统设计了两类索引分别加速系统数据块的定位和谓词未知的查询处理。在查询RDF数据时，系统基于启发式规则简单有效地生成查询计划。在执行查询计划时，根据查询类型采用不同的执行策略，并利用并行执行子系统提高连接查询操作的效率。对于多变量的查询计划，采用二步执行策略减少查询过程中产生的中间结果，并动态地调整查询计划。与目前流行RDF数据存储系统RDF-3X进行性能对比测试的结果表明，在存储空间上比RDF-3X至少降低了40%，在查询性能上比RDF-3X至少提升了3倍。实验进一步表明，TripleBit所采用的查询计划生成方式和索引技

6、术对查询处理性能的提升有很大的帮助。关键词：资源描述框架，语义数据表达，查询处理，数据压缩，索引I华中科技大学硕士学位论文AbstractAsRDF(ResourceDescriptionFramework)dataisflexibletobeexpressedandeasytobeinterchanged,thevolumeofRDFdataisincreasingatanamazingspeed.TraditionalRDFstoragesystemseitheruseRDBMSasstoragebackendoradoptnative

7、storage.However,thesemethodsdonotfocusonthescalability.Therearesomesystemswhichsacrificestoragespacetoovercomethisproblem.However,theredundantdataandnotcompactstorageschemeresultinthelowefficiencyinthequeryplangenerationandqueryexecutionperiods.TripleBitaimstoproposeaneffi

8、cientmethodindatastorageandqueryprocessingforlargescaleRDFdatainseveralaspects.Duetothefe