基于hadoop的空间矢量数据的分布式存储与查询研究

《基于hadoop的空间矢量数据的分布式存储与查询研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、设…ｍｒ４去如成＊著ｎｖＵＮＦＣＨＩＮＡ＾Ｕ＾ＩＶＥＲＳＩＴＹＯＦＥＬＥＣＴＲＯＮＩＣＳＣＩＥＮＣＥＡＮＤＴＥＣＨＮＯＬＯＧＹＯ－＂ｓｉｌｎｆ硕±学位论文ＭＡＳＴＥＲＴＨＥＳＩＳ｛ｍｔ＼／＂＇／ｓｓｅ■％．＾论文题目基于Ｈａｄｏｏｐ的空间矢量数据的分布式存储与查询妍究学科专业计算机科学与技术ｔ学号２０１３２１０６０６４４陈俊欣作者姓名指导教师张凤蒸教授：ｆ－ｊ独创性声明本人声明所呈交的学位论文是本人在导师指

2、导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加Ｗ标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。作者签名：Ｗ狐日期：如仁年４月３７日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部口或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可Ｗ将学位论文的全部或部分内容编入有关

3、数据库进行检索，可Ｗ采巧影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文係在解密后应遵守此规定）作者签名：捧如－导师签名：郑日期：年４月＞７日分类号密级注1UDC学位论文基于Hadoop的空间矢量数据的分布式存储与查询研究（题名和副题名）陈俊欣（作者姓名）指导教师张凤荔教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业计算机科学与技术提交论文日期2016.3.18论文答辩日期2016.4.19学位授予单位和日期电子科技大学2016年6月答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。ARese

4、archofDistributedStorageandParallelQueryofSpatialDataBasedonHadoopPlatformAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:ComputerScienceandTechnologyAuthor:JunxinChenSupervisor:Prof.FengliZhangSchool:SchoolofInformationandSoftwareEngineering摘要摘要目前空间数据

5、的规模不断增长，使得处理和分析空间数据技术的难度不断增加，同时GIS在各个行业的广泛应用，海量空间数据进行高效管理和处理的难度不断加大，多数领域也对空间数据的精度提出了越来越高的要求，迫切需要新的技术和方法来管理和处理海量的空间数据。目前的开源的分布式大数据处理平台利用分布式存储和并行计算的方法能为解决上述问题提供一种新的方法。本文基于Hadoop开源大数据处理平台，利用HBase在空间数据并发访问和数据处理方面的优势来高效、合理存储和管理空间数据，主要在空间数据的存储和查询两个方面作了比较深入的研究。首先，研究了空间数据存储与并行处理的国内外现状，分析对比了

6、当前空间数据的几种存储方式，深入研究了MapReduce并行计算框架的整个原理和运行的机制以及HBase的存储模型，并设计了空间数据复合行键拼接加入分隔符的行键存储模式，取消了过滤列族的设计。接着使用GeoTools工具将Shapefile文件导入HBase表，通过GeoTools工具构建出空间数据对象，分析了GeoTools工具整合到MapReduce并行计算框架下空间数据处理的流程。最后，在此基础上，提出了空间数据的窗口查询、多边形区域查询的MapReduce并行化解决方案以及基于Geohash的空间数据的K近邻查询算法，并在Hadoop的分布式环境中进行

7、了空间数据导入和多种空间查询和并行处理实验，验证了HBase存储和处理空间数据的优势以及查询算法有更高的效率和更好的准确性。主要取得了以下研究成果：（1）通过一种在HBase中新的空间数据的存储表模式设计，来获得HBase在海量空间数据分布式存储方面性能的优越性。（2）提出将GeoTools工具整合到MapReduce并行计算框架下空间数据处理的流程，通过这个方式来完成空间数据的导入导出。（3）采用MapReduce2.0并行程序设计框架来完成空间数据的窗口查询、多边形区域查询，经实验证明，该并行化算法对比与传统查询算法有明显的优势。（4）提出了基于Geoha

8、sh的空间数据的K近邻查询算法，利用地