大数据在气象服务中的研究与应用

《大数据在气象服务中的研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大数据在气象服务中的研究与应用摘要：“大数据”是继物联网、云计算之后信息技术产业又一次重要的技术变革，随着大数据时代的来临，各行各业的信息化都发生了深层次的变革，气象领域也不例外。本文阐述了大数据发展的背景、基本内涵和关键技术等，并结合气象数据的特点，分析了大数据在气象领域上的应用。关键词：大数据；关键技术；气象数据中图分类号：TP393.05随着信息技术、计算机技术和互联网技术的高速发展，促进了人类社会各类数据的爆炸性增长以及云计算、物联网等技术的兴起，迎来了大数据的时代，同时也引起了多家公司和机构对大数据

2、问题进行研究。就学术界而言，《Nature》早在2008年就推出了BigData专刊。2008年末，“大数据”得到部分美国知名计算机科学研究人员的认可，业界组织“计算社区联盟”（ComputingCommunityConsortium）发表了一份有影响力的白皮书《大数据计算：在商务、科学和社会领域创建革命性突破》[1]。他们的认可对“大数据”术语提供了支持。1大数据概述6就目前来说，大数据并没有统一的标准来定义。不过就使用者来说，它是指所涉及的资料达到无法通过目前主流软件工具，在合理时间内达到采集、存储、分析

3、和展示的数据集。但在2012年，学术界就大数据在体积、类型、速度和价值这四个方面的特征达成了共识，即所谓大数据的4V特征：Volume（大体积）、Variety（多样性）、Velocity（高速度）、Value（价值稀薄）。2大数据关键技术随着大数据时代的来临，要处理的数据类型越来越复杂，量越来越大，用现有的软件和技术很难对其进行处理，为了解决这种现状就需要突破传统技术，根据大数据的特点进行技术变革，因此就需要解决一系列针对大数据的收集与存储、挖掘与分析等技术，这些关键技术包括以下几类：2.1数据的收集与存储

4、6大数据数据源分布广泛，半结构化、非结构化数据大量存在，数据类型多样，因此必须对采集的数据进行抽取和集成，提取出关系和实体，经过关联和聚合之后采用统一定义的结构来存储这些数据。由于大数据的多样性、数据量大、价值密度低等特征，传统的关系型数据库已不能满足大数据时代的数据存储。为了解决这个问题，相应的提出了许多新型数据库系统，如Google的Bigtable、Amazon的Dynamo等等，Bigtable是采用字符串的形式实现对数据库数据的高效管理；而Dynamo技术是综合使用了key/value存储、分布式哈

5、希表（DHT）等技术对基于大数据的信息系统的可靠管理。对于这些新型数据库统一称为NoSQL（notonlySQL）数据库。虽然NoSQL没有一个准确的定义，但一般认为它们具有模式自由、简易备份、简单的应用程序接口、最终一致性、支持海量数据等特征[2]。目前主流查询索引技术是以Google公司的BigTable为代表的列簇式NoSQL数据库。典型的NoSQL数据库[2]分类如表1所示：表1典型的NoSQL数据库2.2大数据挖掘与分析技术大数据挖掘与分析是整个大数据处理流程的核心。对大数据进行挖掘分析，发现蕴含的

6、信息，研究社会运行的规律与发展趋势是大数据的根本价值所在。在大数据时代，传统的就算和分析方法在性能上遇到了严重的瓶颈。因此需要对传统的分析方法进行变革。2004年，Google公司提出MapReduce技术，作为面向大数据分析和处理的并行计算模型，致力于通过大规模廉价服务器集群实现大数据的并行处理。MapRe6duce并行编程模型把计算过程分解为两个主要阶段，即Map阶段和Reduce阶段，如图1所示。Map函数处理Key/Value对，产生一系列的中间Key/Value对，Reduce函数用来合并所有具有相

7、同Key值的中间键值对，计算最终结果[3]。目前，Google公司针对MapReduce的离线处理模式的不足，提出了一个适用于Web数据级别的交互式数据分析系统Dremel，通过将列存储和多层次的查询树结合，能实现极短时间内的海量数据分析。在离线与实时处理模式上，已经出现了二者融合的趋势。3气象大数据3.1气象大数据的内涵气象部门每天的数据增长量有非常大的数据级，包括每天有2000多个地面站、120多个高空探测站、440多个雷达站、6颗在轨卫星、5万多个自动监测站、600多个农业监测站、300多个雷达站、90

8、多个酸雨监测站[4]……这些数据逐天逐小时甚至到逐分钟扫描着中国各种各样的天气数据，这些数据量大，且包括不同类型的数据类型。报告会专家表示，气象数据既具备“大数据”的共性，即：数据体量巨大、数据增长速度快、数据类型多样等特点。3.2气象大数据的主要应用（1）气象大数据在预灾、防灾、减灾、救灾中的应用；在大数据观点中，预测是核心，而“防灾”是应对灾害的重中之重，所以预测灾害信息显得尤为重要。然而，防灾