气象大数据跨平台研究和应用技术探究

《气象大数据跨平台研究和应用技术探究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、气象大数据跨平台研究和应用技术探究　　摘要：为了更好处理和应用诸如气象数值预报产品等非结构化的气象大数据，基于NetCDF技术实现了全序列气象数值预报产品原始格式解码、数据的格式转换以及生成符合各类数值预报产品特征的NetCDF格式的存储库，并将转换和重新组织的数值预报产品数据实时存储到相应的NetCDF库文件中；基于NCL（TheNCARCommandLanguage）编程语言读取NetCDF库文件中的数据生成精度高、内容展现丰富的数值预报图形产品，并提供给业务用使用，业务运行结果表明大数据处理技术的引入对气象大数据在业务中的应用具有一定的促进作用。关键词：气象大数据；Net

2、CDF；数据解码；算法中图分类号：TP311文献标识码：A文章编号：1009-3044（2013）31-6943-058近年来我国的气象事业有了长足的进步和发展，广东省建设了大量的常规、特种自动气象探测设备，其传输、处理和服务应用的信息量呈指数式增长，目前广东省气象信息中心每天接收的数据量达到1T级的规模，预计未来3-5年每天接收的数据总量将会增长到1.5-2TB左右，其中80%的数据都是非结构化的大数据，目前这些非结构化的大数据仅能做到初步的实时业务应用，无法做到大数据的长时间序列存储以及进一步的分析处理和决策分析应用，这也造成了极大的“气象数据价值”浪费。因此气象行业迫切需

3、要进行气象大数据的应用分析研究[1]。本文以气象数值预报产品为切入点，详细分析气象大数据的特点和实际业务需求，基于NetCDF技术实现了全序列气象数值预报产品原始格式解码，实现数据的格式转换，生成符合各类数值预报产品特征的NetCDF格式的存储库，并将转换和重新组织的数值预报产品数据实时存储到相应的NetCDF库文件中；基于NCL（TheNCARCommandLanguage）编程语言读取NetCDF库文件中的数据生成精度高、内容展现丰富的数值预报图形产品，并提供给业务用户业务应用[2]。1关键技术应用与设计1.1数值预报产品应用现状目前气象预报领域已建立起比较完善的数值预报业

4、务体系，在各级气象台站的日常公众气象预报服务中发挥着越来越重要的作用，特别是为灾害性、关键性、转折性天气的预报服务、航空气象服务、军事气象服务、水文气象服务等提供了有物理基础的指导产品和定量参考信息，并为预报业务向应用气象和环境气象领域的拓展提供了有利的技术支持[3]。然而在目前数值预报资料的使用过程中存在以下问题：81）目前我们能够获取到的数值预报的种类已经比较丰富，如欧洲大气模式、欧洲海洋模式、欧洲细网格数值预报、JMA、JMA细网格、Grapes模式等。各国数值预报中心生成的数值预报存储格式各异，对预报员的使用，以及查询、存储、归档等都造成了一定的困难。尤其像T639，J

5、MA，EC等数值预报模式，都将不同预报时次的数据分为单个文件进行传输，这对单站连续时间数据的读取造成了非常大的困难，时效也特别低。2）随着数值预报精度越来越高，它的数据文件也越来越大，如Grapes12KM的单时次数据文件为16G，全序列数值预报日数据总量约几百GB，三年的数据量大约为20T左右，这对于存储空间和存储管理也有了比较高的要求[4]。因此，为了给预报员提供更多种类，格式更加丰富的数值预报产品，为了能够将历史资料完整有序、有效的存储并让其提供服务，需要完成全序列数值预报数据的收集、存储和加工处理。不但要将选序列数值预报产品归类存储，形成数值预报产品库，还将对其进行加工

6、，生成更加便于存储、查询、展示的NetCDF格式的数值预报产品，形成规范的NetCDF产品库[5]，并可提供给不同的业务用户使用。同时将使用NCL编程语言对NetCDF产品进行加工，实时生成多要素、多层次、多时次、多范围的数值预报图形产品，旨在为预报员提供更直观、更有用的预报素材。81.2系统总体设计系统总体架构如图1所示，整个系统由4个子系统组成。子系统1：原始格式数值预报产品收集程序实现诸如欧洲大气模式、欧洲海洋模式、欧洲细网格数值预报、JMA、JMA细网格、Grapes模式等原始格式产品的收集和管理。子系统2：数值预报产品格式转换和数据集成基于NetCDF技术，将日本数值

7、预报产品（JMA）、欧洲大气模式、欧洲海洋模式、欧洲细网格数值预报、JMA、JMA细网格、Grapes模式等7类数值预报产品进行格式转换写入NetCDF库[6]，每月生成一组库文件，从而实现了数据的集成。子系统3：数据服务开发基于NetCDF库文件，利用NCARCommandLanguage工具，将日本数值预报数据（JMA）、T639数值预报数据、Grapes数值预报数据及欧洲数值预报产品（ECMWF）等全序列数值预报产品经过资料加工后转换成图形产品[7]，并实现产品的按需分发。子系统4：可