提高气象数据查询速度存储研究

《提高气象数据查询速度存储研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、提高气象数据查询速度存储研究　　摘要：在气象现代化的发展进程中，将来各种各样的实时观测数据会越来越多，除了数据的准确性以外，对数据的时效性要求也越来越高。数据的时效包括采集传输时效和查询应用时效。采集传输时效有严格气象报文观测传输规范和制度，该文重点研究分析如何提高实时观测数据的查询应用时效。关键词：结构化数据；数据库；数据库索引；列式存储；行式存储中图分类号：TP311文献标识码：A文章编号：1009-3044（2014）06-1170-03AnalysisofMeteorologicalDataSt

2、oragetoImproveQuerySpeedFUYa-yu，YUANYan-fen，LIANGShen-qing，YEQiu-ying（GuangdongMeteorologicalInformationCentre，Guangzhou510080，China）Abstract：Intheprocessofthedevelopmentofmodernmeteorology，avarietyofreal-timeobservationdatainthefuturewillbemoreandmore，i

3、nadditiontodataaccuracy，timelinessofdatarequirementsarealsoincreasing.Timeliness7ofdatacollectionandtransmission，includingtimelinessandqueryapplicationsaging.Therearestricttimecollectionandtransmissionofmeteorologicalobservationspackettransmissionspecifi

4、cationsandsystem，thispaperfocusesontheanalysisofhowtoimprovethequeryapplicationtimelinessreal-timeobservationdata.Keywords：structureddata；database；databaseindexes；columns；storage；storageline为建设幸福广东，提高预报准确率，广东省要在2015年基本实现气象现代化。信息中心要完成“三个一”工作。即一分钟资料到桌面、一套一

5、体化的数据库、一个实时分析数据集，满足“资料好用、用好资料”的要求。这“三个一”的工作，其实要求信息中心将及时收到的实时观测资料进行处理、入库，然后提供给预报员和其他应用人员使用，而不是将原始资料直接送到预报员桌面。这就要求我们需要对成千上万的原始数据进行快速的处理入库和提供高效的快速查询、统计、分析机制。7信息中心每天收到各种各样的气象资料，其中有结构化数据（如国家自动站和区域站等）和非结构化数据（如雷达产品，云图等）。在自动站资料的应用中，预报员希望从自动站观测数据中快速提取如温度、雨量、风向和风速

6、等要素进行平均或累计等运算。众所周知，数据查询的速度和数据的存储方式都以索引密切相关。信息中心保证大量的实时数据入库的同时，还需要想办法改善数据的存储方式来满足快速查询的要求。在现有的存储技术架构中，是否还有更好的办法来提升数据查询速度呢？我们先来了解计算机的数据存储方式。1数据的存储方式目前，在计算机的数据处理过程中，计算机会将数据存储到存储介质（通常指硬盘）里，存储的方式通常有行式存储和列式存储。行式存储是将每条记录数据以行的形式依次存储到存储介质中的过程。例如下面的表：这个简单表的每条记录包括观测

7、站点的Name（名称），IIIII（站号），Temp（温度）和Rain（雨量）。这个表要存储在计算机的内存（RAM）和存储（硬盘）中。数据库必须把这个简单的二维表转换成一个个“字节”中，由操作系统按顺序写到内存或硬盘中。行式数据库把一行中的数据值串在一起存储起来，然后再存储下一行的数据，以此类推。列式存储是将每条记录数据以列的形式依次存储到存储介质中的过程。7列式数据库把一列中的数据值串在一起存储起来，然后再存储下一列的数据，以此类推。2两种存储方式的优缺点行式存储数据库因为同一条记录的行存储在一起，所

8、以记录写入速度快，读取一条记录和同一条记录的多个列快，更改和删除记录快，但聚合统计、查询慢，数据压缩比低，索引开销大。列式存储数据库因为同一类型的列按顺序依次存储在一块，索引和数据列是统一，同一列的数据相同或相似较多，所以列式存储查询速度快、数据压缩比高、装载快，但是插入更新慢，不太适合数据频繁更新变化。行式存储的数据库擅长随机读操作，多用于联机事务处理（OLTP）；列式存储的数据库则更擅长大批量数据量查询，多用于联机分析处理（OLAP）。