MeteCloud平台下基于Hive的气象数据仓库构建的研究毕业论文(设计)

《MeteCloud平台下基于Hive的气象数据仓库构建的研究毕业论文(设计)》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、题目MeteCloud平台下基于Hive的气象数据仓库构建的研究目录1引言11.1研究背景11.2研究现状21.3研究意义32相关工具32.1VMwareWorkstation832.2Hadoop52.3Hive62.4Eclipse73MeteCloud架构分析73.1MeteCloud的架构73.2MeteCloud平台存储体系结构中的Hive73.3AvartarNode机制84Hive结构分析104.1Hive与Hadoop的关系104.2Hive的数据存储124.3Hive的实现过程144.4Hive与

2、数据库的比较15485气象数据处理155.1气象数据集介绍155.2处理数据存储的多维分析模块165.3数据的直存与转存实现175.4对数据的其他直接操作186数据仓库的实现与测试186.1数据仓库工具配置186.1.1配置Hive186.1.2基于Eclipse搭建Hive开发平台206.2测试结果236.2.1HiveCLI处理气象数据236.2.2基于Eclipse平台处理气象数据278小结29致谢29参考文献304848MeteCloud平台下基于Hive的气象数据仓库构建的研究顾容宇南京信息工程大学计算机

3、与软件系，南京210044摘要：气象存储系统是气象的核心系统，是集气象资料的收集与处理、气象数据的存储管理及检索等多环节的综合应用系统。云计算是分布式计算，并行计算和网格计算的发展成果，这将对气象行业有重大而深远的影响。本文首先对MeteCloud（MeteorologicalCloud，气象云平台）的架构和其中具体的一些构成进行了分析；然后分析了Hive的数据存储过程和实现过程；并且还研究了对气象日值数据的转存实现。通过进行实验测试，结果分析表明，Hive是一种可以存储、查询和分析大规模数据的机制，更好管理大量气

4、象数据资料。关键字：云平台；MeteCloud；Hive；气象数据；数据仓库1引言1.1研究背景气象行业是一个资源极其丰富、数据极其庞大的行业。随着气象事业现代化水平不断提高，特别是现代气象业务体系不断地发展和完善，气象业务、科研和管理活动中累积和收集了大量的气象信息资源。而且随着自动站、雷达、雨量标校站、卫星站等气象观测站的建立，气象资料数据也在与日剧增。气象业务数据主要包括气象台站的各类要素资料，如降水量、气温、相对湿度、日照时数等以及云图、各时次格点场、雷达以及其它图像数据等，可看出气象数据其庞大程度[1]。

5、省级单位气象数据的来源主要有卫星通道、国际互联网、内部业务系统和单位交换等，其中通过卫星通道接收的气象数据量最大，每日可达700兆左右。然各级的气象台站手机的各种资料每天都有若干时次，收集存储的的数据资料数据总量达上百兆，总的资料甚至可达GB量级。而雷达、卫星云图以及相关预报产品数据，每天能达到20GB左右，主要是图片数据和气象专用格式的格点数据。由此可以看出，气象业务数据不仅种类繁多，数据信息量十分庞大，而且用户服务响应时效和对资源分配结构的合理程度要求也非常高[2]。气象存储系统是气象的核心系统，是集气象资料的

6、收集与处理、气象数据的存储管理及检索等多环节的综合应用系统。因此建立一个可进行数据抽取，转化，加载，共享大量数据的气象信息数据库非常有必要而且意义重大。云计算是一种近几年提出的计算模式，是分布式计算、并行计算和网格计算的发展。目前，亚马逊、微软、谷歌、IBM、英特网等的公司纷纷提出了“云计划”，例亚马逊、IBM和谷歌联合进行的“蓝云”计划等[1]48。这对云计算的商业价值给予了巨大的肯定。同时学术界也纷纷对云计算进行深层次研究，不可回避的是，云计算将给依托信息处理交换的各行各业带来巨大变革，同样将对气象领域产生重大

7、而深远的影响。1.2研究现状（1）气象数据存储技术系统现状目前国内外许多气象部门都是采用文件系统作为气象资料存储方式，不同科学数据采用不同格式，同时有相应存储管理系统用来完成数据的读写和检索。我国气象数据存储依旧是以观测点和气象资料接收设备终端为主，所应用的存储系统还是具有商业化性质的Oracle、Sybase和Informix等的数据库系统。但是，这些系统目前还不能够很适应气象资料书目的庞大和其类型的复杂性。于是便想可以把庞大的气象资料用文件形式来存储。美国的AWIP的格点数就是采用NetCDF的格式存储的，而云

8、图和雷达数据是直接存储为原始数据文件；我国气象部门使用的MICAPS是采用了类似的存储方式[2]。以文件形式的气象资料可以采用先进的文件压缩技术进行压缩，这样可以大大节省磁盘的空间。国内的气象存储一般都采用单一的数据库存储或者简单的文件库，但是每个气象部门的气象资料都是有所不同的，事实上每个气象部门都会设立不同的气象存储系统。现在已经提出采用数据库与文件库结