生态环境大数据平台的构建及关键技术

《生态环境大数据平台的构建及关键技术》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、生态环境大数据平台的构建及关键技术　　1引言　　生态环境的保护问题，具有复杂性和时变性，涉及多部门、多地区和多领域，需要处理海量的各类数据，这为问题的解决增加了不小的难度[1].本文从分析生态环境相关数据入手，对利用大数据技术，整合各类生态环境相关的数据资源，建立生态环境大数据平台的架构及关键技术展开论述。　　2生态环境相关数据的现状分析　　目前，应用于生态环境保护领域的数据资源主要包括三类：　　地面监测数据：此类数据主要于各地的生态环境在线监测系1统之间很难形成信息共享。　　遥感监测数据：此类数据主要于卫星遥感数据和航空遥感数据。　　地理信

2、息数据：此类数据的主要有野外采集、地图数字化和航天遥感采集、摄影测量等。　　目前，传统的信息化技术在环境数据整合工作中仍占据主导地位，而利用大数据技术，实现上述三类数据的统一存储、协调工作，真正建立起实用价值大，适用性广泛的生态环境大数据平台，还没有相关的工作开展。　　3大数据技术概述　　大数据技术是近年来兴起的一种综合性信息技术[2],对于处理超出传统数据库系统存储、管理和分析处理能力的多的、海量的数据集群，具备天然的技术优势。大数据技术的主流应用框架是Hadoop生态系统。它以HDFS分布式文件系统和MapReduce分布式计算框架为核心

3、，可以对大数据进行高效的分布式处理。　　4大数据平台的构建　　生态环境问题涉及大气、土壤、水、生物圈、气候等方方面面。　　为此，我们在推进大数据技术与生态环境保护工作相互结合的过程中，采取了以点带面，逐步推进的策略。　　在本文中，我们选取对环境影响比较突出的大气污染问题作为研究的切入点，利用Hadoop生态系统中的HDFS技术，建立起秦皇岛地区的大气污染防治大数据平台。未来，通过建立基于此平台的大气业务应用系统，我们可以对秦皇岛地区的大气污染物情况进行准确有效的分析。这一应用模式的探索，也将为未来更广泛生态环境数据的综合性分析与应用，打下良好

4、的基础。　　平台所采用的地面监测数据包括：工业企业污染排放情况、火电企业污染排放情况、钢铁冶炼企业污染排放情况、水泥企业污染排放情况等。　　平台所采用的遥感气象数据主要是用美国国家环境预报中心（NCEP）发布的FinalOperationalGlobalAnalysis（FNL）资料[3].我们不直接使用FNL的原始数据，而是采用经过NOAA-AirResourcesLaboratory（ARL）预处理模块转化后的数据。基于FNL资料，可以计算在某一时段内抵达秦皇岛地区的后向气流轨迹，从而有助于配合地面监测数据揭示秦皇岛地区大气污染的可能。　

5、　纳入平台的地理信息数据主要有两类：（1）图形数据：此部分数据以矢量图形的形式存储于HDFS系统中。它们的主要是利用搜狗地图所提供的静态地图API.（2）文本数据：此部分数据包括：a）监测污染源的位置数据；b）交通拥堵情况；c）气流轨迹数据：此类数据由FNL资料计算而得。各类文本数据都将构成独立的图层，利用搜狗地图提供的API,标注于图形数据之上。　　5关键技术研究　　各类数据会被存入统一的大数据平台。我们采用Hadoop分布式集群结构作为大数据平台的存储结构。我们使用100台PC级电脑构建起分布式数据存储集群，每个节点同时承担计算和存储的角

6、色。各个数据节点中存放大气污染相关的大数据。元数据主节点则存放各类大数据在数据节点中的副本分布位置。元数据辅助节点承担与元数据主节点类似的任务，当元数据主节点宕机时，可以重新启动元数据主节点。元数据主节点上保存着访问HDFS文件系统的索引信息，它们主要于数据预处理过程中提取的元数据。对于修改元数据主节点信息的操作，事务日志中都会插入相应的记录。而数据索引到数据存储的映射，副本的位置及编号等信息，都存储在元数据主节点所在的本地文件系统中的一个映射文件中。　　对于大数据而言，要想实现数据的高效稳定的访问机制，需要做好两方面的工作：（1）对数据分块

7、存储并建立适宜的物理数据副本规模；（2）采用适宜的副本存放策略和数据读写策略[4].我们采取了搜集数据访问反馈信息的策略，利用统计学方法实现了副本规模的动态调整。而对于副本的存放策略，我们考虑将不同副本存放于不同机架的电脑上，以保证一个机架出现故障时不致丢失数据，并且还能在读数据时充分利用不同机架的带宽。数据的读取策略则采用从距离读请求节点最近的存储节点上读取数据。同时，我们将对数据加工的相关业务代码从加工请求所在的电脑发送至数据副本所在的电脑执行，尽可能不在电脑之间进行数据副本的传递，以提高写数据的效率。　　6结论　　本文将大数据技术引入生

8、态环境保护的工作之中，将秦皇岛地区的地面监测数据、遥感监测数据、地理信息数据整合在一起，建立起秦皇岛地区大气污染防治大数据平台，使相关的业务应用有了一个统一的底层数