分布式RDF数据处理架构研究

《分布式RDF数据处理架构研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分布式RDF数据处理架构研究TheResearchofDistributedRDFDataProcessingArchitecture工程领域：计算机技术作者姓名：冯佳颖指导教师：冯志勇教授企业导师：郭晓和正高工天津大学计算机科学与技术学院二零一七年十一月摘要资源描述框架(resourcedescriptionframework，RDF)作为语义网提出的数据规范，现已在生活中得到了广泛应用，这导致RDF数据量暴增。虽然当前的分布式RDF数据处理架构能满足SPARQL查询的要求，但局限于改进存储结构和索引

2、结构等方面，高效地执行RDF查询仍是现阶段研究的重点和难点。本文分析了大量分布式RDF数据处理系统，从架构的角度对分布式SPARQL查询技术进行综合的分析，并针对RDF数据的存储方法和SPARQL查询策略这两个影响性能的关键因素进行定义和详细分类。最后，通过实验分析对主流的引擎性能的影响进行定量分析。基于实验结果，总结分布式RDF数据处理系统所面临的挑战和可能解决方案。结合上述分析，分布式RDF数据处理系统仍存在可改进的空间。而且，从硬件角度来看，现有SPARQL查询的方法均依赖于CPU的计算能力。近年

3、来，图像处理单元(graphicprocessingunits，GPU)的发展提高了图数据处理的性能。与CPU相比，GPU多处理器具有高并发、易扩展以及价格成本低等优势。由于CPU处理大规模RDF数据的计算能力有限，本文考虑使用GPU作为系统计算能力的补充。本文提出了基于GPU的RDF查询处理引擎——MapSQ。该系统创新的提出三个模块：查询分割器、基于GPU的MapReduce并行计算模板和计算CPU和GPU的资源管理，以减少SPAQRL查询的响应时间，并在基准数据集LUBM上对该算法进行性能测试，实

4、验结果表明该算法显著优于基于CPU架构的算法。综上所述，本文对于查询效率低下的现状，设计了基于MapReduce的GPU设计了分布式RDF数据查询系统。该系统通过新硬件的加速，大大的提高了系统性能。对RDF数据处理系统中使用硬件加速处理提出了新的尝试。关键词：资源描述框架，SPARQL查询处理，图像处理单元，MapReduceIABSTRACTRDF(resourcedescriptionframework)describesresourcesandtherelationshipsofthemonthe

5、semanticWeb,whichhasbeenwidelyusedinlife.WiththevolumeofRDFdatarapidlyincreasing,ahighperformancemethodisnecessarytoefficientlyprocessingSPAQRL(simpleprotocolandRDFquerylanguage)queryoverRDFdata.ThispaperanalyzesalargenumberofdistributedRDFdataprocessing

6、engine,andbasedontheanalysisresultsproposedqueryperformanceoptimizationstrategy.WesurveycurrentparallelprocessingapproachesforSPARQLqueriesinRDFdata.Thispaperresearchtheenginesfromthreeaspects:systemarchitectures,RDFdatastoragemanagement,andSPARQLqueryex

7、ecutivestrategies.Weclassifythosearchitectures,respectively.Combiningtheaboveanalyze,mostexistingapproacheshavebeenproposedtoprocessingRDFdata,whichmostlydependoncalculativecapabilitiesofCPU.Inrecentyears,GPU(graphicprocessingunits)hasbeenadoptedtoaccele

8、rategraphdataprocessingwidelyinseveralworks,whichhavebettercomputationalperformance,superiorscalability,andmorereasonableprices.DuetothelimitedcomputationalpowerofCPUsforhandlinglarge-scaleRDFdata,thisarticleconsiderstheus