刘仁义-空间大数据暴增时代地深度云计算技术实践与后云时代应用创新.pdf

《刘仁义-空间大数据暴增时代地深度云计算技术实践与后云时代应用创新.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、空间大数据暴增时代的深度云计算技术实践及后云时代的应用创新刘仁义浙江大学地理信息科学研究所浙江省资源与环境信息系统重点实验室2016年11月02日内容提要空间大数据应用与云计算技术空间大数据深度云计算实践后云时代应用创新探索GIS-TransformingourWorld文明载体的演化数字天然文字印刷电子化数字化生存的时代人类生存于一个虚拟的、数字化的生存活动空间，在这个空间里人们应用数字技术（信息技术）从事信息传播、交流、学习、工作等活动。——尼葛洛庞帝《数字化生存》KBMBGBTBPBEBZB,???……生存四要素：阳光、空气、水、数据我们处在空间大数据暴增的时代空天地海立体观

2、测技术发展海量空间数据爆炸式增长空间大数据应运而生高精度高频度高覆盖“高分专项”每天获取原始影像超300GB“土地更新调查”每年累计亿级矢量图斑要素一次重大自然灾害应急救援需采集十余种数百TB数据空间大数据应用需求——高效计算在大数据处理速度方面，有一个著名的“1秒定律”即要在秒级时间范围内给出分析结果，超出这个时间，数据就失去价值了。“1秒，能做什么？”——IBM空间大数据应用需求——深度应用解读角度一：价值密度低，为了一点金子，需要保存全部沙子解读角度二：包含价值极高的深度知识，具有巨大的商业意义深入浅出空间大数据应用SpatialBigDataThinkingPhysical

3、worldHumansocietyRealspaceIntelligentactivityMathematicalCyberspaceGeometricalMentalspacemodelSimulationCommunicationVisualizationEmbodimentNetwork,VirtualEmbeddedHPCStorageRealityIntelligent更快更多更真更巧云计算助力空间大数据应用商业模式驱动应用需求驱动空间大数据是落地的云云计算本身也是空间大数据的一种业务模式浙江大学技术应用方案云计算环境下地理空间大数据高效处理平台及应用一、空间大数据多态存储

4、与管理1、研发了PB级空间大数据云计算管理系统，支持多类型数据、多状态存储、高时空关联的空间大数据多态存储与弹性管理。遥感影像存储管理规格化切片产品存储管理矢量数据存储管理波谱特征数据存储管理一、空间大数据多态存储与管理1、研发了PB级空间大数据云计算管理系统，支持多类型数据、多状态存储、高时空关联的空间大数据多态存储与弹性管理。数据类型与数据量统计分析资源使用量统计分析数据时空关联分析元数据定制管理一、空间大数据多态存储与管理2、开放域环境下弹性可扩展存储模型融入了云存储虚拟化思想，提出了“开用户数据层放域弹性存储”，设计并实现了建立在虚拟磁盘空间上的时空数据库动态可扩展模型。虚拟层虚

5、拟映射层建立了一个逻辑上静态、物理上动态可扩展的开放域存储空间，解决了海量时空信息存储空间高扩展性、高可用性和存储结构静态化需求。一、空间大数据多态存储与弹性管理3、面向分布式环境的泛化地理信息存储技术提出了“分布式泛化存储”思想，设计并实现了空间数据的分布式建库和高效并发检索框架。真正做到请求自动分发，多节点、多线程并行执行，攻克了空间大数据背景下海量数据带来的信息检索瓶颈难题。一、空间大数据多态存储与弹性管理应用实例：该解决方案在国防科工高分重大专项、国土资源管理、交通运输等9大行业部署应用空间大数据中心大数据服务平台交通灾害重大应用15二、空间大数据高性能地理计算1、异构云环境下时

6、空信息双态云计算方法，解决传统单机处理方式及MPP架构下大规模并行计算模式效能不足问题。•多云共生平衡架构双态云计算方法•本地存储、本地处理、独立服务高稳•智能感知的计算任务调度体系效定•最大限度减少数据传输损耗•适用分布式计算模型内存云硬盘云•多云并算协同机制•分布式部署的内存云，提供了海量内存计算空间•计算过程在内存云中，无硬盘I/O•基于内存云GPU协同加速，并行能力强，效率高二、空间大数据高性能地理计算2、Hadoop、Storm、Spark多云共生平衡架构，支持离线复杂/离线快速/在线实时的大数据处理逻辑架构图硬件架构图二、空间大数据高性能地理计算3、Disk、RAM、GPU多

7、云并算协同技术，解决不同云层级的协同处理，突破空间大数据计算性能瓶颈。逻辑架构图二、空间大数据高性能地理计算4、异构云弹性空间数据集协同调度技术，支持不同层次引擎不同云环境按需调度。二、空间大数据高性能地理计算5、分布式矢量瓦片构建/虚拟瓦片混合技术*构建效率：MAPREDUCE在6台内存16GB，8核CPU的服务器环境下，坐标转换（4610-3857）查找符号库对3亿级矢量图斑的1-16级空间格网剪裁瓦片构建，循环绘制图斑计算图斑