面向并行数字地形分析的DEM数据云存储方法研究

《面向并行数字地形分析的DEM数据云存储方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学位论文独创性声明本人郑重声明：所提交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果。本论文中除引文外，所有实验、数据和有关材料均是真实的。本论文中除引文和致谢的内容外，不包含其他人或其它机构已经发表或撰写过的研究成果。其他同志对本研究所做的贡献均己在论文中作了声明并表示了谢意。学位论文作者签名：裔以日期：刀7哆．j．砖学位论文使用授权声明研究生在校攻读学位期间论文工作的知识产权单位属南京师范大学。学校有权保存本学位论文的电子和纸质文档，可以借阅或上网公布本学位论文的部分或全部内容，可以采用影印、复印等手段保存、汇编本学位论文。学校可以向国家有关机关或机构送交论

2、文的电子和纸质文档，允许论文被查阅和借阅。(保密论文在解密后遵守此规定)保密论文注释：本学位论文属于保密论文，密级：——保密期限为——年。学位论文作者签名：钎鹏日期：如fj．j。柚指导教师签名：沙乙日期：DzD限上、“国家自然科学基金面上项目课题资助“面向海量DEM数据库的并行数字地形分析方法研究’’国家科技部863主题项目课题资助“数字地形分析并行计算与中间件”(2011AAl20303)摘要人类对地观测技术的发展使得大范围高精度地形数字高程模型(DEM)数据的数据量呈爆炸式增长。基于单一计算机的传统数字地形分析方法由于存储与计算性能有限，无法满足地学研究和生产应用的需求

3、。面向新型硬件架构的并行数字地形分析理论和方法的研究已经成为地学界的研究热点之一。然而，目前的研究着重于考虑地形分析算法的并行，很少涉及面向并行数字地形分析的海量DEM数据以及数字地形分析结果的管理问题，已有的DEM数据管理模式也无法满足并行数字地形分析的需求。分布式计算平台Hadoop被认为是海量数据处理和分析的利器。如何利用Hadoop来管理急剧增加的DEM数据，以满足并行数字地形分析的需求，是值得研究的课题，本文即围绕此课题展开研究，主要内容包括以下三个方面：1)面向并行数字地形分析的DEM数据组织方式在深入分析并行数字地形分析的特点及其对DEM数据组织和管理需求的基

4、础上，详细介绍了DEM金字塔结构及其构建方法和数学模型，并基于此结构设计了DEM及其增量数据的分布式存储模型，可实现海量DEM数据及其并行数字地形分析结果的有效存储。21面向并行数字地形分析的DEM数据管理方法DEM管理方法包括空间索引机制、数据压缩方法、系统容错机制和并发访问策略等。本文结合HBase数据库的存储模式，构建了三级空间索引，并提出了基于内容的空间索引方法，使系统同时支持基于特征查询和基于内容查询。在数据压缩方面，设计了高程增量游程编码压缩算法，并对算法的适用性进行了实验验证。此外，深入研究了Hadoop的容错方案和高并发访问策略，并结合DEM数据的特点，给出

5、了配置参数的建议值以及部分实现代码。31DEM云存储原型系统的设计与实现通过分析DEM云存储系统的设计需求，给出了系统的详细设计方案。并以三台Pc机搭建Hadoop集群模拟DEM云存储环境，在该集群环境上开发了DEM云存储原型系统。该系统支持四种查询方式：①基于文件名查询；②基于范围和分辨率查询；⑨基于范围和格网数查询；④基于内容查询。以全球SRTM3数据为实验数据对系统进行验证。实验结果表明，数据检索的结果是完全正确的，在现有的集群环境条件下，数据检索的时间效率是令人满意的。关键词：DEM；并行数字地形分析；Hadoop；云存储ABSTRACTEarthobservati

6、ontechnologiesmakethequantityofDigitalElevationModel(DEM)datawithawiderangeandhi曲precisionexplosivegrowth．Duetostoragecapacityandcomputationalperformancearelimited，traditionaldigitalterrainanalysismethodbasedonasinglecomputercan’tmeetthedemandsofgeoscientificresearchandproductionapplica-ti

7、on．TheResearchoftheoryandmethodofparalleldigitalterrainanalysisbasedthenewhardwarearchitecturehasbecomeahotpointforgeologists．However,currentresearchmostlyconcentrateontheparallelizationofterrainanalysisalgorithm，whilerarelyinvolv—inghowtomanagelargeamountsofD