气象大数据技术架构思路.docx

《气象大数据技术架构思路.docx》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、气象大数据应用技术架构设计思路二〇一五年五月文档信息客户单位:内部技术机密心项目:文档：.docx版本：0.9(150521)发布日期:未发布编者:姓名公司项目职称日期邱承国高级技术经理2015-05-11批准:姓名公司项目职称日期修订历史主要修订记录版本号修改人修改内容修改日期1.V0.9_150511邱承国初稿2015-0-1-12.3.4.目录文档信息ii修订历史ii1引言12气象行业大数据分类22.1概述22.2从分类大数据到选择大数据解决方案32.3依据大数据类型对业务问题进行分类42.4使用大数据类型对大数据特征进行分类52.5依据大数据类

2、型对气象信息进行处理73大数据平台架构83.1大数据解决方案的逻辑构成83.1.1大数据来源83.1.2数据改动和存储层83.1.3大数据分析层93.1.4大数据应用层93.2大数据解决方案的组件构成103.2.1横向层103.2.2垂直层154大数据平台组成194.1概述194.2原子模式194.2.1数据使用组件204.2.2数据处理组件224.2.3数据访问组件244.2.4数据存储组件284.3复合模式294.3.1存储和探索复合组件304.3.2专业分析和预测分析组件304.3.3OLAP在线分析314.3.4原子模式和符合模式的映射324.

3、4解决方案模式（模拟应用场景）355技术架构实现选择产品365.1概述365.2技术架构的关键问题365.3分布式存储与分布式应用365.4服务平台的硬件架构与调整365.5数据库与数据仓库365.6NOSQL数据库365.7数据集成工具365.8数据分析软件365.9Web应用以及Web开发的关键问题366我们的研发策略366.1效益366.2目前的形势366.3针对目前直接的应用需求366.4技术储备与项目应用366.5如何保证将来的扩展371引言在气象行业内部，气象数据的价值已经和正在被深入挖掘着。但是，不能将气象预报产品的社会化推广简单地认为就

4、是“气象大数据的广泛应用”。大数据实际上是一种混杂数据，气象大数据应该是指气象行业所拥有的以及锁接触到的全体数据，包括传统的气象数据和对外服务提供的影视音频资料、网页资料、预报文本以及地理位置相关数据、社会经济共享数据等等。传统的”气象数据“，地面观测、气象卫星遥感、天气雷达和数值预报产品四类数据占数据总量的90%以上，基本的气象数据直接用途是气象业务、天气预报、气候预测以及气象服务。“大数据应用”与目前的气象服务有所不同，前者是气象数据的“深度应用”和“增值应用”，后者是既定业务数据加工产品的社会推广应用。“大数据的核心就是预测”，这是《大数据时代》

5、的作者舍恩伯格的名言。天气和气候系统是典型的非线性系统，无法通过运用简单的统计分析方法来对其进行准确的预报和预测。人们常说的南美丛林里一只蝴蝶扇动几下翅膀，会在几周后引发北美的一场暴风雪这一现象，形象地描绘了气象科学的复杂性。运用统计分析方法进行天气预报在数十年前便已被气象科学界否决了——也就是说，目前经典的大数据应用方法并不适用于天气预报业务。现在，气象行业的公共服务职能越来越强，面向政府提供决策服务，面向公众提供气象预报预警服务，面向社会发展，应对气候发展节能减排。这些决策信息怎么来依赖于我们对气象数据的处理。气象大数据应该在跨行业综合应用这一“增

6、值应用”价值挖掘过程中焕发出的新的光芒。1大数据平台的基本构成1.1概述“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘（

7、SaaS），但它必须依托云计算的分布式处理、分布式数据库（PaaS）和云存储、虚拟化技术（IaaS）。大数据可通过许多方式来存储、获取、处理和分析。每个大数据来源都有不同的特征，包括数据的频率、量、速度、类型和真实性。处理并存储大数据时，会涉及到更多维度，比如治理、安全性和策略。选择一种架构并构建合适的大数据解决方案极具挑战，因为需要考虑非常多的因素。气象行业的数据情况则更为复杂，除了“机器生成”（可以理解为遥测、传感设备产生的观测数据，大量参与气象服务和共享的信息都以文本、图片、视频等多种形式存储，符合“大数据”的4V特点：Volume(大量)、Ve

8、locity(高速)、Variety(多样)、veracity(真实性)。这些信息长期存储于气