基于MapRedue的大规模矢量空间数据选择查询处理-论文.pdf

《基于MapRedue的大规模矢量空间数据选择查询处理-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、垫!!：塑ScienceandTechnologyInnovationHerald学术论坛基于MapRedue的大规模矢量空间数据选择查询处理何涛刘强郑泽忠刘帅(电子科技大学资源与环境学院四川成都611731)摘要：为高效地处理大规模矢量空阃数据，基于Hadoop的并行计算框架MapRedue，实现了一种分布式的矢量空问数据选择查询处理方法。首先，分析OGC简单要素标准~Hadoop的Key／Value~模型，设计了可存储于HadoopHDFS的矢量文件格式l其次，根据两阶段的过滤一精炼策略，对Map输入数据分片、选择查询处理过程及R

2、educe结果合并等关键步骤进行了详细阐述；最后，基于上述技术，利用Hadoop集群环境对所提出的方法进行验证，该方法具有较好的可行性和较高的效率。关键词：MapRedue选择查询存储模型Key／Value矢量数据文件中图分类号：文献标识码：A文章编号：1674—098x(20l4)03(c)一0193—02Abstract：ThepaperhasachievedavectorspatialdatadistributedselectquerymethodbasedonHadoopparallelcomputingframeworkMa

3、pRedue．inordertoefficientlyprocessmassivevectorspatialdata．Firstly。thepaperdesignsvectorfilef0rmatabletostoreinHadoopHDFS，byanalyzingOGCSimpleFeaturesstandardandHadoop’SKey／Valuedatamode1．Then，thekeyproceduresincludingdatapartitioningandselectqueryprocessingmechanismofM

4、apstep，resultsmergingofReducestepetc．areelaboratedindetailaccordingtothetwo-stagefiltration-RefiningStrategies．Finally，basedontheabovetechnology，theproposedmethodwhichhasgoodfeasibilityandhigherefficiencyisverifiedintheHadoopclusterenvironment．Keywords：MapRedueselectque

5、rystoragemodelKey／Valuevectordatafile随着全球空间数据集的急剧增长，海文件系统存储矢量空间数据，根据空间查能够作为其他空间查询操作(如空间连接量空间数据带来了丰富的信息，而面对如此询处理的两阶段过滤与精炼策略，并充分查询和最近邻查询)的基础。代表性的空庞大和复杂的数据集，随之产生了数据存利用MapRedue并行计算框架处理海量数间选择查询包括空间点查询和空间区域查储与管理问题。国内外很多学者尝试利用据的优势，设计一种简单实用的选择查询方询。点查询(PointQuery)通过给定一个Hadoop云计算

6、技术处理矢量空间数据。张法，有效提高了对大规模矢量空间数据的查询点P和一个空间对象集M，查找出M中书彬等利用MaPReduCe并行处理空间查查询处理效率。所有包含点P的空间对象。区域查询通过给询的数据分割方法、副本避免方法实现空定一个多边形区域R和一个空间对象集M，间查询⋯；赵彦荣等基于Hadoop提出了一1基本概念查找出M中所有与R相交或被R包含的空间种并行连接查询算法CHMJ，提高了连接1．1空间选择查询对象。查询的处理效率；尹芳等基于开源Hadoop在GIs中，常见的对空间矢量数据的1．2MapReduce并行计算框架的矢量空间

7、数据分布式处理研究J；王永刚查询有三种，即：空间选择查询、空间连接HadOOP是一款开源分布式系统基础对Hadoop云计算平台下地理信息服务的若查询和最近邻查询。其中，空间选择查询架构，它支持在商用硬件构建的大型集群干关键技术进行了研究J。和连接查询是最基本的查询操作。空间选上运行应用程序，实现对海量数据的分布基于上述研究，该文以Hadoop分布式择查询是最重要的一种空间查询操作，它式处理。其核心技术包括并行计算框架图1矢量数据文件—。一■口l(26．-lo169．so)．772．3I(B66J71)．63．OMB5L37)．66．0

8、MB童120词tl0时阎tOO(5】9OO．、2节点数3图2矢量数据查询时间科技创新导报ScienceandTechnologyInnovationHerald193Q：!ScienceandTechnologyInno