海量影像云管理的探索与研究

《海量影像云管理的探索与研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第27卷第1期安徽地质、，o1．27No．12017年3月GeologyofAnhuiMarch20l7文章编号：1005-6157(2017)01-053-4海量影像云管理的探索与研究陈韬，侯恩兵1．z，马伟英(1安徽省基础测绘信息中心，安徽合肥230031；2安徽省智慧城市与地理国情监测重点实验室，安徽合肥230031)摘要：目前影像存储与管理方式存在着诸多的不足，传统的文件系统时影像进行存储和管理的效率较低，难以适应海量影像数据存储管理的需求。同时传统方式的数据共享效率低，基本靠存储介质共享传递数据，共享过程中

2、会带来额外的存储开销。而云计算技术的出现和发展克服了传统文件系统的不足，所以本文研究搭建基于开源云计算平台Hadoop的分布式集群，研究海量的遥感影像数据的存储和管理方式；并在此基础上开发了一套海量影像云管理系统，进一步提高海量影像数据存储性能与管理效率，推动影像数据在各行业的分发应用。关键词：Hadoop；海量影像；云计算中图分类号：P208文献标志码：A0引言储、大规模计算、深度数据挖掘等的支持也不够完善[7]。因此文章重影像数据是GIS的重要数据来方面获得了更加强大的优势，所以点考察了各类开源云平台，结合实源，

3、它含有丰富的资源与环境信将云计算技术和GIS技术相结合，施时间同时确保实现最终的研究成卜。随着卫星遥感和航空遥感研究并实现云计算环境下GIS应用果，拟采用应用最为广泛的开源云技术的发展，特别是小卫星高分辨模式、服务体系、存储迁移等技平台Hadoop。率遥感图像的商业化，通过遥感技术、模式或方法具有非常迫切的现Hadoop是一个分布式系统基础术获得的高分辨率的卫星遥感地理实必要性。因此本文在现有云GIS架构，用户可以在不了解分布式底层信息越来越多[3】。这些高分辨率的基础上，结合开源云平台Hadoop的细节的情况下，开

4、发分布式程序，卫星遥感数据不仅包含着海量的信特点[5】，研究并实现海量(TB级甚充分利用集群的威力高速运算和存息，而且时效性强，获取影像周期至PB级)影像数据的分布式存储和储。同时Hadoop主要有以下优短，数据量大。可以看到全球遥感高效的查询管理技术；并充分融入点：影像数据集的规模正在迅速膨胀，云计算、大数据等前沿技术，采用维护了多个工作数据副本，确对GIS提出了更高的要求，现阶段基于Hadoop的分布式集群、Spring保能够针对失败的节点重新分布处的影像数据管理系统至少应该管理MVC和MyBatis技术对海量的

5、影像理：PB级的影像数据。面对如此庞大数据进行存储管理，有效解决传统以并行的方式工作，通过并行和复杂的遥感影像数据集，如何对影像数据存储管理存在的不足，提处理加快处理数据的速度；其进行高效的存储、组织、管理与升系统性能和效率，提高测绘大数是可伸缩的，能够处理PB级发布，缩短遥感影像数据从获取、据管理的效率[6】。数据，且部署成本比较低，任何人处理到使用的时间至分钟级甚至秒1开源云平台Hadoop的优势都可以使用；级，提高处理和分发的效率，成为考虑到商业的云GIS平台存在带有用Java语言编写的框架，一个迫切需要解决的

6、问题[4】。着一定缺陷，如成本高、兼容性差因此具有良好的跨平台优势。传统的GIS和WebGIS已经不能等；同时GIS数据涉密的特点，此综七所述，结合海量影像数据适应管理海量影像数据，而云计算外外商业软件需要高昂的使用和维的特性，Hadoop完全可以满足存的出现使得GIS系统在海量数据存护费用，在跨平台方面商业GIS云储、分析大规模的GIS数据的各类收稿日期：2016-09—13基金项目：安徽省国土资源科技项目“基于had0op搭建云GIs平台的探索与研究”(2015一K一16)作者简介：陈韬(1986一)，男，安徽巢

7、湖人，硕士，主要从事地理信息系统，可视化，软件工程工作。安徽地质2017年需求，因此本文选择Hadoop来构建件系统的命名空间，维护整个文件信是通过HTML表单进行传递；对开源云GIS平台框架。系统文件目录树及其索引目录。于客户端，系统提供B／S架构的客2研究内容集群启动时，NameNode通过户端系统。2．1Hadoop集群设计心跳机制接受DataNode的块报告来2．2．2业务层根据云GIS平台需求和已有的组织文件信息。业务层位于整个系统结构的中硬件设备数目，本文的基础工作DataNode是执行具体任务的节间，接

8、受用户通过应用层提供的查之一即搭建hadoop集群，图1为本点，如存储影像文件块，被客户端询条件并通过功能模块的处理及时文设计的hadoop集群集群的拓扑结和NameNode调用。响应用户的查询请求。业务层还负构；这样的结构可以动态添加硬件Yarn负责集群中所有资源的统责与底层的数据存储层进行交互，设备，横向扩展子节点以增加整个一管理和分配，接