云计算环境下多源异构遥感大数据管理关键技术研究

《云计算环境下多源异构遥感大数据管理关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、密级:硕士学位论文云计算环境下多源异构遥感大数据管理关键技术研究作者姓名：许冬指导教师:王力哲研究员马艳副研究员中国科学院遥感与数字地球研究所学位类别:工程硕士学科专业:电子与通信工程研究所:中国科学院遥感与数字地研究所二〇一八年四月ResearchontheKeyTechniquesofMulti-sourceRemoteSensingBigDataManagementundertheCloudComputingEnvironmentByDongXuADissertationSubmittedtoUniversityofChineseAc

2、ademyofSciencesInpartialfulfillmentoftherequirementForthedegreeofMasterofElectronicsandCommunicationEngineeringInstituteofRemoteSensingandDigitalEarthChineseAcademyofSciencesApril,20182中国科学院遥感与数字地球研究所学位论文原创性声明和使用授权说明原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。论文中凡引用他人已经

3、发表或未发表的成果、数据、观点等，均已明确注明出处。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过的成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人承担。论文作者签名：日期：年月日学位论文使用授权说明本人在导师指导下完成的论文，知识产权归属中国科学院遥感与数字地球研究所。本人完全了解中国科学院遥感与数字地球研究所关于收集、保存、使用学位论文的规定，同意研究所保存或向国家有关部门及机构送交论文的印刷版和电子版，允许论文被查阅和借阅；同意授权研究所采用影印、缩印、数字化或其它

4、复制手段保存和汇编本学位论文。本人保证毕业后，以本论文数据和资料发表论文（著作）或使用论文工作成果时，第一署名单位为中国科学院遥感与数字地球研究所，并征得导师同意。保密论文在解密后遵守此规定。论文作者签名：导师签名：日期：年月日III云计算环境下的多源异构遥感数据管理关键技术研究摘要随着遥感卫星技术的不断发展，一方面造成了遥感卫星传感器、遥感数据类型的不断增加，另一方面也导致了遥感数据体量的急剧增长，这给遥感数据的管理、存储与组织带来了巨大的挑战，与此同时，由于遥感数据本身所具有的时空等多维度特征，越来越多的遥感应用开始关注于利用遥感数据集

5、的时间等维度进行分析与处理，而在现有的多卫星数据中心云计算环境下，数据的获取、分享与时序数据组织分析效率低下。因此如何进行云计算环境下的多源遥感大数据管理，从而为用户提供对于时空数据集的高效的按需获取、数据共享、时序数据组织等服务，是当前遥感数据管理领域亟需解决的重要问题。针对以上问题，本文依托于“863项目—星机地综合定量遥感系统与应用示范（二期）”项目，利用云计算的海量数据存储、虚拟化、弹性扩展、按需服务等优点，针对多源异构大数据的数据量大、数据组织困难、数据服务低效等特点，重点研究了云计算环境下针对遥感数据分析应用用户的多源遥感数据的

6、存储、组织、数据按需订阅、数据共享等服务的具体实现以及在此基础上的数据立方体分析环境的构建。主要包括以下几点：（1）对于来自不同数据源的异构遥感数据，通过引入地理信息元数据标准建立元数据映射模板，实现多源遥感数据的统一格式转换，并在此基础上实现对于遥感数据的统一检索。另外按照归档数据以及计算分析数据的不同特点，为遥感影像数据的存储采取不同的组织方式。（2）针对遥感数据的按需获取与数据共享服务，本文在OpenStack-Swift对象存储的基础上，首先提出了基于对象文件的虚拟目录设计方案，为用户提供了类似于文件系统的可以进行层级目录管理的云空

7、间，然后提出了虚拟映射与虚拟视图的概念，通过共享数据存储与虚拟视图组织来为用户提供高效的时空数据订阅与数据共享服务。（3）针对多维遥感数据的数据处理与分析，本文结合OpenDataCube数据立方体技术，利用云存储中的组织好的Landsat、Modis、GF等时空数据集，为用户提供了基于内存的多维数据模型构建与时序数据分析环境，并通过NDVI以及水体检测算法为例进行了验证。通过开展以上研究，本文实现了对于异构多源遥感数据的统一管理，并在此基础上，为遥感云平台中的数据分析用户提供了云空间数据组织、时空数据订阅、数据共享等服务，并通过数据立方体

8、为用户构建了时序数据的分析环境，为用户针对多源异构数据的统一检索、组织、订阅共享以及分析处理提供了系统而完整的解决方案。本文的创新点在于通过参考元数据相关标准构建了统一元数据模型