基于下推转换机的xml流数据的并行查询研究

《基于下推转换机的xml流数据的并行查询研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中文图书分类号：TP314密级：公开UDC：004学校代码：10005硕士学位论文MASTERALDISSERTATION论文题目：基于下推转换机的XML流数据的并行查询研究论文作者：谢红亮学科：软件工程指导教师：廖湖声论文提交日期：2017年5月UDC：004学校代码：10005中文图书分类号：TP314学号：S201425014密级：公开北京工业大学工学硕士学位论文题目：基于下推转换机的XML流数据的并行查询研究英文题目：RESEARCHONPARALLELQUERYOFXMLSTREAMDATABASEDONPUSH

2、DOWNTANSDUCERS论文作者：谢红亮学科专业：软件工程研究方向：软件与理论申请学位：工学硕士指导教师：廖湖声教授所在单位：信息学部答辩日期：2017年5月授予学位单位：北京工业大学独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：谢红亮日期：

3、2017年5月25日关于论文使用授权的说明本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。（保密的论文在解密后应遵守此规定）签名：谢红亮日期：2017年5月25日导师签名：日期：2017年5月25日摘要摘要社交网络，网络监听和金融领域对XML流数据的快速查询处理有着迫切需求。已有的XML流数据查询方法并没有充分发挥出计算机多核处理器的计算优势。数据并行查询方式能够利用多核CPU来提高查询

4、效率，该方式由数据处理和链接处理两个过程组成。数据处理过程对多个块数据进行同时处理；链接处理过程将数据处理过程的处理结果进行连接处理，将截断的块重新连接起来。这种方式充分利用了多核的计算资源，使得处理器的利用率大大提升。自动机作为处理半结构化数据的一种有效手段，经常被用来处理XML数据。下推转换机作为一种特殊的自动机，不仅可以用来处理XML数据，且其内部所使用的栈结构能够保存处理过程中的重要信息，因此能够与数据并行查询方式相结合，使数据查询效率进一步得到提升。在处理带有谓词的XPath查询时，通常的处理方式是将XPath进

5、行重写，重写后得到一组子查询，这些子查询彼此并不是完全独立的，经常会存在依赖，导致链接操作过程增加了子查询间的链接匹配处理（这个处理的时间往往比子查询的处理时间还长），导致查询效率很低。为了减轻链接处理的负担，进而提升链接查询的效率，将XPath查询模式转换成多个有序的查询树模式（每个查询都是有效且独立的，这些查询的匹配结果之和与XPath查询模式的匹配结果等效）。链接处理阶段只需要进行单个查询结果的链接处理，消除了查询间的连接处理，减少了链接阶段处理的时间。通过将数据并行查询与下推转换机的有效结合，使得多核的计算资源得到

6、了充分利用；同时，采用有序的查询树模式作为匹配模式减轻了数据链接处理过程的负担，使得处理效率显著提升。关键字：XML流；XPath；有序树模式；下推转换机IAbstractAbstractThesocialnetworking，networkmonitoringandfinancialapplicationshaveaneedtoqueryhighratestreamingofXMLdata。TheexistingXMLstreamdataquerymethodsdonotgivefullplaytothecomputat

7、ionaladvantageofmulti-coreprocessors。Dataparallelquerymethodsimproveprocessingefficiencybyusingmulti-coreCPU。Dataparallelqueryincludestwoprocesses：dataprocessingandlinkprocessing。Intheprocessofdataprocessing，multi-blockdataisprocessedsimultaneously，andthelinkproce

8、ssingconnectstheprocessingresultsofthedataprocessingprocess，reconnectthetruncatedblock。Thisapproachmakesfulluseofmulti-corecomputingresources，sothattheu