基于hadoop和html5的环保webgis系统架构优化设计与实现

《基于hadoop和html5的环保webgis系统架构优化设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于Hadoop和HTML5的环保WebGIS系统架构优化设计与实现[摘要]文章阐述了在环保大数据环境下利用Hadoop和HTML5技术解决L5等技术的不断成熟，也为大数据在浏览器客户端的加载绘制提供了优化的方案。　　江苏省生态环境大数据图形化展示平台的建设，就是在面对大数据环境下，利用Hadoop技术和HTML5技术，提出一种GIS数据可视化系统的优化方案。　　1Hadoop和HTML5技术综述　　1.1Hadoop技术　　Hadoop是一个由Apache基金开发的分布式系统基础架构。Hadoop由HDFS、MapReduce、HBase

2、、Hive等部分组成，其设计核心是HDFS和MapReduce，HDFS为海量的数据提供了存储，而MapReduce为海量的数据提供了计算，Hbase则为处理后的数据提供存储。　　1.2HTML5技术　　HTML5是标准通用标记语言下的一个应用超文本标记语言（HTML）的第五次重大修改，HTML5提供了高度的兼容性和标准性，能够将视频、音频、图像、动画以及同电脑的交互都标准化，同时，HTML5提供了丰富的标签对微数据和微格式等方面的支持，为用户构建数据驱动的LCanvas，作为一个HTML5支持的图像标签，可以用脚本进行高性能的图像绘制、渲

3、染功能。　　2基于Hadoop的数据架构设计　　在环保大数据可视化系统中，Hadoop作为一个大数据分布式处理架构，主要利用其中HDFS、MapReduce、HBase等技术实现数据层面的数据库设计，为环保空间大数据提供分布式的计算架构。　　2.1构建GeoJson的地理数据格式　　GeoJson是一种对各种地理数据结构进行编码的格式，基于Javascript对象表示法的地理空间信息数据交换格式。　　由于Hadoop不支持�魍车目占涫�据格式，因此对于矢量空间数据而言，可以采用基于GeoJson格式来实现空间几何实体的描述。它支持OGC定义

4、的以下几种几何类型：Point、LineString、Polygon、MultiPoint、MultiLineString、MultiPolygon和GeometryCollection。又因为其具有表达数据的简洁性、JavaScript原生支持等特点。　　GeoJson格式的地理数据中包含对一条空间数据对象的空间坐标、id、type等内容描述。格式如下：　　以GeoJson格式存储的数据，通过数据转换软件，将空间数据转换成对应的JSON文本，就能满足Hadoop管理和运算的需求。　　2.2基于Hadoop的系统存储结构　　基于Hadoop

5、的环保大数据可视化系统存储结构设计如图1所示，利用Hadoop分布式技术为系统设计数据存储和数据处理的模型和架构，使用Hadoop分布式文件系统存储海量环保数据，使用MapReduce并行处理数据，使用Hbase存储处理后的海量数据，从而实现海量环保数据的存储和计算。　　数据层基于Hadoop的分布式架构，其中，HDFS用于数据存储和数据管理，基于HBase建立空间数据表，其中地图和业务元数据存储在HBase表中，地图瓦片数据存储在HDFS中，这样解决了HDFS不便管理小文件的问题，同时利用HBase时间戳来实现数据版本控制。通过MapRe

6、duce分布式并行计算机架构，将空间数据的处理和分析任务分散到各个计算节点，利用各节点上的地图服务、业务数据服务，对海量数据进行并发计算，以提高数据处理的效率。　　Hadoop存储架构设计　　2.3数据查询与分析过程　　环保大数据可视化系统中，包含基本的空间查询，如空间位置查询、空间分析等；还包含空间数据的属性数据查询，如监测点位的监测数据，这两种查询在传统查询模式下，多利用建设空间索引和数据索引的方式，来减少I/O的使用次数，来提高系统效率，而在Hadoop存储结构下，利用数据分割和MapReduce能够提供更好的数据运行效率。　　基于M

7、apReduce的空间查询，是在Hbase表中，将表分为多个Region，每个以Hbase表分块作为Map任务划分依据，Map函数的key作为该要素的ID，value为该要素ID对应的记录。在针对查询条件对各要素进行查询筛选。对于筛选后的数据进行分类，将分类ID作为Map结果的key，再交由Reduce进行合并处理，结果存入数据库。　　3HTML5可视化优化设计　　HTMLCanvas作为一个HTML5支持的图像标签，可以通过脚本在浏览器中进行图形渲染，通过JavaScript脚本将图形直接绘制到Canvas容器内。利用Canvas中的AP

8、I，实现对图形的绘制，其优势在于，可以实现百万级空间对象的快速渲染，为环保大数据的可视化提供客户端优化解决方案。