云环境下海量xml文档的分布式twig查询处理算法的研究与实现

《云环境下海量xml文档的分布式twig查询处理算法的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据分类号UDC密级学位论文云环境下海量XML文档的分布式Twig查询处理算法的研究与实现作者姓名：张盼指导教师：赵相国副教授东北大学信息科学与工程学院申请学位级别：硕士学科类别：工学学科专业名称：计算机软件与理论论文提交日期：2014年6月论文答辩日期：2014年6月学位授予日期：2014年7月答辩委员会主席：乔建忠教授评阅人：王波涛教授张大波教授东北大学2014年6月万方数据AThesisinComputerSoftwareandTheoryResearchandImplementationofDistributedTwigQueryProcessi

2、ngoverMassiveXMLDocumentsintheCloudByZhangPanSupervisor：AssociateProfessorZhaoXiangguoNortheasternUniversityJune2014万方数据独创性声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：弘a勿日期：加f印．易．钐／学位论文版权

3、使用授权书本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交流。作者和导师同意网上交流的时间为作者获得学位后：半年口一年口一年半口两年∥学位论文作者签名：球觞签字日期：枷婶．厶．了f，导师签名：乏岁知佩导师签名：沙r碜签字日期：缈．歹、w万方数据云环境下海量XML文档的分布式Twig查询处理算法的研究与实现摘要随着互联网的迅速发展，XML已经成为互联网上信息存储和数据交换的重要标准，因此

4、，XML文档的数据规模急剧增长，使得海量XML文档的查询处理成为当前比较热门的研究方向。XML文档查询的核心操作是小枝模式(Twig)查询，但是传统的Twig查询处理算法在海量XML文档上的查询效率低，高效地查询处理海量XML文档的研究还很少，并且存在许多问题。云计算是当前处理海量数据的主流技术，云环境下海量数据管理技术研究主要包括数据分片和分布式查询处理。首先，在数据分片方面，本文提出了XML文档的任意分片算法AF(ArbitrarilyFragmentation)，AF算法能够在保证分片的任意性的前提下，通过记录分割结点信息以维持XML文档结构信息的完整

5、性。其次，在分布式查询处理方面，本文提出了基于MapReduce的分布式Twig查询处理算法DTS(DTwigStack)，该算法利用AF算法记录的分割结点信息，分布式的处理所有的分片，并输出所有可能组合成最终的查询匹配结果的局部结果。然后，为了保证把有可能合并成最终结果的局部路径结果发送到同一个Reduce任务进行处理，本文引入了ComMapReduce框架中的Coordinator节点，用来收集DTS算法在Map阶段执行得到的键值信息，并在整合之后发送给所有的Mapper节点，重新修改键值，从而保证能够把具有相同键值的局部路径结果发送到同一个Reduce

6、任务，并组合成最终的匹配结果。本文设计了一系列实验，包括分布式查询处理算法DTS的性能与Hadoop集群slave节点数之间的关系以及与数据大小之间的关系，并且对DTS算法的加速比，可扩展性和规模增长性的性能进行了实验。实验表明分布式DTS算法在海量XML文档的查询上具有良好的性能。关键词：云计算；分布式计算；海量数据；XML；Twig查询处理万方数据．II．万方数据ResearchandImplementationofDistributedTwigQueryProcessingoverMassiveXMLDocumentsintheCloudAbstrac

7、tWiththerapiddevelopmentoftheIntemet，XML，asasemi-structureddata，hasbecomeanimportantstandardformatofdatastorageandexchangeontheIntemet．Thus，therapidgrowthofthedatasizeoftheXMLdocumentsmakesqueryprocessingofXMLdataamorepopularresearchdirection．OneofthecoreoperationsofXMLdataqueryist

8、wigpattemquery,butthetradi