基于Hadoop的数值预报产品服务平台设计与实现-论文.pdf

《基于Hadoop的数值预报产品服务平台设计与实现-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第26卷第1期应用气象学报Vo1．26，No．12015年1月JOURNALOFAPPLIEDMETEOROLOGICALSCIENCEJanuary2015李永生，曾沁，徐美红，等．基于Hadoop的数值预报产品服务平台设计与实现．应用气象学报，2015，26(I)：122—128doi：10．11898／1001-7313．20150113基于Hadoop的数值预报产品服务平台设计与实现李永生曾沁徐美红石小英(广东省气象信息中心，广州510080)摘要数值预报产品数据与日俱增，采用传统的关系型数据库对其进行存储和管理存在效率低和存储能力不足的问题。另外，基于文

2、件的存储方式在数据存储处理、数据读取和算法计算等方面存在性能瓶颈。针对这一问题，基于Hadoop技术体系设计了分布式的数据存储模型，实现了数值预报产品数据的分布式存储和处理，开发了数值预报产品数据接入处理模块；并实现了基于RestWebService的获取数值预报产品要素场数据访问接口、时间序列数据访问接口、数据下载接口等业务应用接口。多业务用户的实际业务测试表明，该平台在诸如数值预报产品气象数据处理和业务应用方面较传统技术架构具有一定优势。关键词：Hadoop技术体系；气象数据；WebService接口共享发布两个方面分别介绍了元数据技术、数据网引言格技术、海量

3、数据存储管理技术、数据挖掘技术等构建气象信息共享平台的关键技术；王伯民等对气气象数据是气象业务和科研工作的基础，数据象科学数据发布策略进行了研究，本文以气象数值蕴含巨大的价值。近年来，我国气象事业有了长足预报产品这类典型的气象数据为数据源，基于Ha～进步，也建设了大量的常规、特种自动气象探测设doop技术体系实现气象数据文件的分布式存储和备，其传输、处理和服务应用的信息量呈指数形式增管理。按照资源即服务的理念，对数据服务进行基长。这些数据包括结构化的数据，如自动气象站观于SOA架构的封装，使之Web服务化，实际业务测测数据、人工观测数据等，也包括精细化数值预报产试

4、表明，基于Hadoop的数值预报产品服务平台与品、风云系列气象卫星产品和气象雷达产品等数据，气象业务发展现状和需求结合紧密。对于结构化的数据可以通过关系型数据库进行分析、处理和计算，并取得了良好的业务应用效果，对1平台基础架构设计与实现于数值预报产品等数据大多基于文件方式(如grib格式文件)存储和处理，再通过专业的软件绘图后应从数值预报产品数据的入库方式和性能、特定用于实际业务中。因此，探讨新的针对数值预报产条件查询搜索、获取要素场数据接口设计等方面综品数据进行分析处理的方式是目前气象业务应用的合考虑，以Hadoop基础上集成Hive，Hadoop与迫切需求，以

5、实现这类气象数据资源的高效利用和HBase技术组合以及Hadoop基础上整合SciHa—共享。doop3种技术方案为备选方案，制定了入库方式、如何做好气象数据服务一直是气象信息技术发入库记录查询方式、数据存储组织方式等考核指标，展的重要方向之一，李集明等_】从数据资源管理和经初步分析判断，尝试选用后选取Hadoop与HBase2014—05—19收到，2014-09—28收到再改稿。资助项目：广州市科技计划项目(2012Y2—00031，2o13Y2—00053，2013Y2—00074)，公益性行业(气象)科研专项(GYHY201106009)，广东省气象局重点

6、项目(2012A01)email：[ynne5101@163．corn第1期李永生等：基于Hadoop的数值预报产品服务平台设计与实现123技术组合作为系统的技术实现方案，并在此基础上际测试结果表明，该技术方案能够满足业务实际需设计了三层结构的总体框架，具体如图1所示。实求。应用服务层(应用集中)分布式数据获取接口分布式算法服务接口分布式数据集成层(数据集中)数据接入模块分布式数据存储和管理分布式计算引擎分布式资源集成层(基础设施集中)图1系统总体框架Fig．1Thediagramofthesystemoverallframe平台的系统架构由分布式资源集成层、分布

7、式HDFS和HBase，实现了数据的分布式存储和管理；数据集成层和应用服务层3个部分组成。在分布式计算引擎模块中，MapReduce通过将对数分布式资源集成层充分利用Hadoop适合在廉据集的大规模操作分发给Hadoop集群中的每个节价机器上对各种资源数据进行分布式存储和分布式点进行处理，每个节点会周期性地将完成的工作和管理，以及具有可伸缩性和高容错性等特点，基于状态同步更新到管理节点上]。该层的主要功能是Hadoop技术构建了分布式资源集成层_3]，该层的实现数值预报产品数据的实时接入，并实现数据的主要功能是实现对基础设施的集成，即利用Ha-分布式存储和管理。d

8、oop技术