大数据环境下GIS技术发展研究.pdf

《大数据环境下GIS技术发展研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、科技创新与应用I2015年第10期科技创新大数据环境下GIS技术发展研究沈松雨(广州南方测绘仪器有限公司，广东广州510665)摘要：大数据环境下GIS处在数据体量大、数据急剧膨胀、数据源多样、数据不精确、数据价值密度低的环境。描述大数据环境下GIS数据显著特征；探讨大数据环境下GIS技术在数据采集、存储、分析处理等三个方面存在的挑战；展望面对这些挑战GIS技术应存储去结构化、计算内存化、分析去模型化、地图全息化发展趋势。关键词：大数据；GIS；Hadoop；Spark；去模型化引言统的GIS空间数据存储方式不但难以扩展，而且随着数据的激增读写随着移动互联网、智慧城市、物联网、云

2、计算等前沿科学技术的快性能存在极大瓶颈。速发展，数据采集方式也不断扩展，越来越多的物体成为传感器，诸如在传统的分布式空间数据库环境下数据虽然可以存放在同节手机、手环、手表、眼镜等越来越多的日常用品成为数据的生产工具。点上，但这种相对传统的分布式文件系统所支持的扩展性有限，针对在此背景下，数据量呈爆发式增长。2013年中国产生的数据总量超过GIS大体量、多样性的空间数据存储问题仍需深入研究，从而寻找更0．8ZB(相当于8亿TB)，是2012年所产生的数据总量的2倍，相当于加有效的方案。2009年全球的数据总量l】。2014年中国所产生的数据则相当于20122．3大数据环境下的GIS

3、空间分析年产生数据总量的1O倍，即超过8ZB，而全球产生的数据总量将超大数据环境下是处处连接的时代，英特尔预测2020年全球将有40ZB。数据量的爆发式增长督促我们快速迈人大数据时代。500亿个连接。每个连接都是一个传感器，这些传感器无时无刻都存1GIS空间数据的大数据特征进行采集数据，其自身状态也随着社会环境、自然环境的变化而变化。具体什么是大数据不同的组织给出的定义也不尽相同，普遍来说这样的背景下，迫切需要GIS能够做到低延迟的分析处理工作，因为大数据指的是无法通过现有的软件工具采集、存储和分析处理的数据分析模型也需要随着变化而动态变化。集合。业界通常用5V(Volume、V

4、ariety、Velocity、Veracity、Value)特征另外大体量和多样性的GIS数据同样给分析处理带来巨大挑战。来概括大数据的显著特征。爆发式增长的数据中80％与空间位置有数据体量越大，分析模型的建立就越困难，加上GIS数据包含街景地关，这些GIS空间数据的大数据特征同样可以用5V来概括。图、遥感影像、矢量数据等多样性的、价值密度很低数据，从中快速提Volume(数据量)：即数据体量大，大量TB级以上数据需要采集、存储、炼有价值数据无疑是一项无比艰巨的任务。分析处理，如一个地级市的基础地理信息数据。3大数据环境下GIS技术发展Velocity(速度)：即数据产生的速率

5、很快，目前数据正以ms甚至大数据环境下GIS数据体量大、增长速度快、形态多样、不精确、微秒计的流数据源源不断地快速产生，因此对数据处理的实时性要求价值密度低等诸多特征必将引起GIS数据采集、存贮、分析等阶段的也越来越更高。变革。大数据环境下GIS技术在空间数据采集、存储、分析处理等方面Variety(多样性)：即数据具有多样性，它包含各种结构化和非结存在诸多挑战，应运而生的大数据分析技术则为根本上解决大数据环构化数据，比如属胜数据、矢量数据、遥感影像等栅格数据。境GIS所面临的挑战提供了可能。Veracity(真实)：即数据具有不精确性，因为数据存在噪音、歧义3．1存储去结构化甚

6、至是缺失，从而导致数据信息模糊，给数据的处理带来诸多不利影相对于有限的数据集，大体量数据需要可扩展的数据存储架构，响以满足数据无限增长的需要。针对大数据时代GIS数据的多样性，诸Value(价值)：即价值密度低，大数据中蕴含各种信息，但其中有如HBase、Redis、MongoDB、InfoGrid等非关系型(NoSQI)数据库显然价值的数据占比较低，从中挖掘出有价值的数据是一种挑战。是不错的选择。2大数据环境下G1S面f临的挑战这些数据库存储不需要预先定义模式，并且可在系统运行的时候自RogerTomlinson博士于1963年首次提出地理信息系统(Geo—动态增加或删除节点，

7、避免停机维护，提高了拓展性和可靠性；另外非graphicIntormationSystems)概念之后，GIS技术一直都在快速发展。关系型数据库没有共享架构，数据往往被划分后存储在各个本地服务GIS技术现已广泛应用于环境监测、国土资源管理、城市规划、交通运器上，方便就近从本地磁盘上读取数据，提高数据读取I生能。输、公共基础设施管理、社交网络(SNS)、位置服务(LBS)等领域，给人3．2计算内存化们生活带来很大便利。随着广大从业者对GIS技术进行不断的尝试和Hadoop系统是近几