大数据理念在海洋环境观测数据共享中的应用研究

《大数据理念在海洋环境观测数据共享中的应用研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、２０１５年第６期海洋开发与管理４３大数据理念在海洋环境观测数据共享中的应用研究宋坤（国家海洋技术中心天津３００１１２）摘要：随着海洋观测技术、科学调查手段、信息技术等的发展，海洋观测数据量日益庞大、观测要素的种类日益繁多，而我国海洋观测平台的条块管理模式造成了观测数据的分布式和区域化，使得资料共享成为近海研究的大障碍，影响了对数据价值的挖掘。文章介绍了近年来蓬勃发展的大数据的概念及其核心价值，并分析了当前海洋环境观测数据共享的需求。在此基础上，提出了一种基于大数据理念的海洋环境观测数据共享平台框架及相应的共享技术方

2、案，并重点探讨了分布式的数据存储结构，以及从数据级和应用级两个层次进行信息共享的机制，数据更新和维护策略等。关键词：系统工程；大数据；数据共享中图分类号：Ｘ１４５文献标志码：Ａ文章编号：１００５－９８５７（２０１５）０６－００４３－０００３性、多源性、复杂性与大数据的主要特征数据量１引言巨大（Ｖｏｌｕｍｅ）、数据类型多（Ｖａｒｉｅｔｙ）、数据流动海洋是关系国家领土、海洋权益和军事对抗快（Ｖｅｌｏｃｉｔｙ）和数据潜在价值（Ｖａｌｕｅ）相一致。的战略空间和主题，其具有重要的政治、经济和在海洋环境观测数据共享应用中引入大数

3、据的军事意义。海洋环境是指以人类生存与发展为理念不止是为了更好地组织管理庞大的数据信中心，相对其存在并产生直接或间接影响的海洋息，其主要意义还在于更大地挖掘其潜在的应用自然和非自然全部要素的整体。海洋环境数据价值。来源于人们对海洋环境的了解、观测和掌握，是人类进行海洋开发、海洋环境保护、军事保障和２大数据理念海洋管理的主要决策依据。当气象学家在做气象地图分析、物理学家在海洋环境数据覆盖了水文、气象、化学、生建立大物理仿真模型等过程中，由于数据量巨大物、地质、地球物理等多个学科，主要包括大气而不能再用传统的计算技术来实

4、现时，大数据的（气温、风、雨、云、雾等）、水文（海水温度、盐度、概念在这些科学研究领域首先被提出来。随着深度、潮汐、海浪、海流等）以及海底地形、地貌、互联网和电子商务的快速发展，大数据的理念和［１］地质、重力、磁力、海底扩张等各种数据信息。技术开始被实际应用。大数据的新技术和新架由于数据采集的分布性、多源性和多样性等，海构也在面临解决数据量大、数据种类多、数据流洋环境观测数据具有类型复杂、结构多样等显著动速度快、数据不完备甚至不可理解等问题中得特征。有效地组织管理数据信息，实现观测数据以不断开发出来。共享，对海洋环境

5、科学研究和应用具有重要的意大数据应用真正要实现的是“用数据说话”，义和价值。而不再是直觉或者经验。其主要包括以下３个大数据（ＢｉｇＤａｔａ）是指无法在一定时间内用方面：一是发现过去没有发现的数据潜在价值；传统数据库软件工具对其内容进行抓取、管理和二是通过不同数据集的整合创造新的数据价值；处理的数据集合。而海洋环境观测数据的多样三是把在一个领域已经发挥过价值的数据再次基金项目：赤潮监测与预警系统集成与示范（２００７ＡＡ０９２００４）．４４海洋开发与管理２０１５年［２］应用在新的领域创造出新的价值。享的基础数据、各类历

6、史资料、各项目和区域获得的实时数据和延时数据，以及获取和制作的信３海洋环境观测数据共享需求息产品等，作为整个平台运行的基础。（１）随着国家对海洋科学研究重视程度的提数据操作是对异构的多源数据进行抽取、排高，国家公益性专项、“８６３”计划等的支持创建了序／过滤、转换等处理，以实现数据的重新整合、许多海洋工程项目，对海洋生物、化学、物理等各部署，完成数据的规范化存储。领域进行了探究，同时也产生了许多的数据资数据访问是各数据集与数据分析之间的桥料。但由于我国海洋观测平台的条块管理模式梁，实现数据的提取以及分析信息的加载。使

7、得观测数据具有分布式、区域化的特征，很多数据分析是根据应用的需要对存储的数据数据只在某一个领域或某一个课题中得以利用，进行检索、统计分析、信息产品制作、数据同化融并未能充分挖掘数据的价值。考虑到数据资源合等分析处理，为应用服务提供后台并行计算。的分布式特征需要引入大数据的理念，建立数据数据的操作、存储、访问及分析都要以元数据管共享机制，实现数据的重复利用，挖掘数据的潜理为依托。在价值。应用服务是平台最终能提供给用户的功能（２）由于海洋环境观测数据获取的手段不以及与用户交互的接口，包括数据查询、信息可同、表述的方式不同

8、，使得数据的类型多样。按视化、信息共享及数据评价与反馈等。照数据结构分为结构化数据即存储在数据库中、数据管理、安全和备份恢复是帮助进行数据可以用二维表结构来逻辑表达实现的数据；半结治理、实现数据保护。构化数据即格式较为规范的，可以通过某种方式数据共享管理制度是指与海洋环境观测数解析得到每项的数据；无结构的非结构化数据是据共享相关的各种法律、法规