基于hadoop的海量农业数据资源管理平台

《基于hadoop的海量农业数据资源管理平台》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第37卷第12期计算机工程2011年6月Vol.37No.12ComputerEngineeringJune2011···开发研究与设计技术·开发研究与设计技术···文章编号：：：1000———3428(2011)12———242———03文献标识码：：：A中图分类号：：：TP391基于Hadoop的海量农业数据资源管理平台杨杨杨锋锋锋，锋，，，吴华瑞吴华瑞，，，朱华吉，朱华吉，，，张海辉，张海辉，，，孙，孙孙孙想想想(国家农业信息化工程技术研究中心，北京100097)摘摘摘要要要：要：：：使用传统分布式数据库架构存储和管理海量农业数据存在资源效率不高及存储

2、能力不足的问题，为此，在Hadoop的基础上研究海量农业数据资源组织存储与检索技术，提出基于Hadoop的大文件分块存储方法和海量农业数据资源检索方法。测试及实践结果表明，该方法为构建海量农业数据资源管理平台提供了支持，实现了海量农业数据资源高效的组织和管理。关键词：：：海量农业数据：；管理平台；分布式存储；元数据；资源检索MassiveAgriculturalDataResourceManagementPlatformBasedonHadoopYANGFeng,WUHua-rui,ZHUHua-ji,ZHANGHai-hui,SUNXiang(Nation

3、alEngineeringResearchCenterforInformationTechnologyinAgriculture,Beijing100097,China)【【【Abstract】】】ThispaperproposesthemethodoflargefilestoragebyblockingpartitionbasedonHadoopandmassiveagriculturalresourcesretrievalmethod,andestablishesthemassiveagriculturaldatamanagementplatformba

4、sedonHadoop.Testandpracticeresultsshowthatthisplatformprovidesatechnicaldirectionfortherealizationofmassive,distributed,heterogeneousunifiedagriculturalknowledgeresources,efficientorganizationandmanagement.【Keywords】massiveagriculturaldata;managementplatform;distributedstorage;meta

5、data;resourceretrievalDOI:10.3969/j.issn.1000-3428.2011.12.0821概述农业知识资源的利用已越来越深入到人们日常生活中，以遥感影像数据为例，目前已广泛应用于病虫害监测、产量[1]预测、作物品质分析等农业应用系统。利用农作物遥感影像数据做出的产量预测具有快速、宏观、经济、客观等特点，并可对农作物生长过程进行动态监测，排除人为干扰的局限性。由于遥感影像数据量大，每天获取的遥感影像达到数百GB甚至数十TB，并且随着影像分辨率的提高呈几何级递增，因此在农业应用服务中如何分发、存储、管理和共享这些海量资源已成为

6、急需解决的问题。农业知识资源的特点是规模大，且来源受地域限制等原因，一般分布比较分散，分布式的组织和管理成为一种必要的手段。目前大多数农业资源管理平台仍然采用传统的分布式数据库架构存储和管理农业数据，其效率并不高，且系统的存储能力受制于所依赖的数据库管理系统的能力，对数据图图图1系统结构与功能模块[2]资源的管理与发布支持也较弱。2.1资源元数据管理[3]Hadoop作为一种开源的架构适合在廉价机器上对各种资源元数据管理实现基于XMLSchema的元数据表示规资源数据进行分布式存储和分布式管理，具有可伸缩性和高范以及与元数据分类相适应的Schema文件组织管

7、理，按照容错性。本文在研究开源框架Hadoop的基础上，开发实现元数据的分类组织和管理农业海量数据，并提供元数据分类了基于Hadoop的海量农业资源管理平台。的动态管理、按元数据分类注册、检索资源的功能。元数据2平台结构与功能基金项目：：：国家自然科学基金：资助项目(60871042)；国家“863”计海量农业知识资源管理平台的设计目标是实现海量、分划基金资助项目(2006AA10Z237,2007AA10Z235)；农业部“948”布、异构农业知识资源的统一组织与管理。平台由资源元数计划基金资助项目(2006-G63)；国家科技支撑计划基金资助项目据管理系

8、统、资源信息管理系统、节点管理系统以及存储平(200