基于Hadoop的海量数据存储平台设计与开发

《基于Hadoop的海量数据存储平台设计与开发》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、万方数据计算机研究与发展ISSN1000—1239／CN11—1777／TPJournalofComputerResearchandDevelopment49(Suppl．)：12—18，2012基于Hadoop的海量数据存储平台设计与开发崔杰1李陶深1兰红星21(广西大学计算机与电子信息学院南宁530004)2(广西工业和信息化委员会南宁530022)(cuijietianlong@163．corn)DesignandDevelopmentoftheMassDataStoragePlatformBasedonHadoopCuiJiel，LiTaoshenl，andLanHon

2、gxin921(SchoolofComputer，ElectronicsandInformation，GuangxiUniversity，Nanning530004)2(GuangxiIndustryandInformationTechnologyCommittee，Nanning530022)AbstractWiththedevelopmentandutilizationofBeiBuBayMarineecologicalresources，massmarinesciencedatarapidlyemergeinlargenumbersanditisveryimportant

3、touseamassdatastorageplatformtomanageandstorethesesciencedatareasonable．Thispaperputsforwardthemanagementandstoragethemassmarinesciencedatamethodsbasedonthedistributedcomputingtechnology，buildsthemassmarinesciencedatastorageplatformsolutions，designsanddevelopsamassdatastorageplatformbasedonH

4、adoopbyusingLinuxclustertechnology．Thissystemwhichconsistsoffivemodulesincludessystemmanagementmodule，parallelloadingstoragemodule，parallelquerymodule，datadictionarymodule，backupandrecoverymoduleanditcanachievetostoremassiveamountsofmarinesciencedata．Thesystemmoduleachievingresultshowsthatth

5、issystemenjoysgoodsafety，reliability，easymaintenanceandgoodexpansibility．Keywordsmassdatastorage；marinesciencedata；Hadoop；distributedcomputing摘要随着北部湾海洋生态资源的开发和利用，海量海洋科学数据飞速涌现出来，利用海量数据存储平台合理管理和存储这些科学数据显得极为重要．这里提出了一种基于分布式计算技术进行管理和存．储海量海洋科学数据方法，构建了海量海洋科学数据存储平台解决方案，采用Linux集群技术，设计开发一个基于Hadoop的海量数

6、据存储平台．系统由五大模块组成，有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块，能够实现存储海量海洋科学数据．系统模块实现结果表明，该系统安全可靠、易维护、具有良好的可扩展性．关键词海量数据存储；海洋科学数据；Hadoop；分布式计算中图法分类号TP311．13随着《北部湾经济区发展规划》颁布实施，以北部湾经济区海洋为研究样本的系列重大基础研究专项和重大科学研究项目正在逐一展开，届时将产生海量的海洋科学数据，这些数据具有海量、复杂、多样、异构、动态变化等特性．而且目前各项目的海洋科学数据均缺乏统一的采集和存储的标准及规范，收稿日期：201201—04

7、基金项目：国家自然科学基金项目(60963022)；广西自然科学基金重点项目(桂科自0832056)；广西大学拔尖创新团队建设计划项目(L300249)；广西研究生教育创新计划项目(GXUllT32550)万方数据崔杰等：基于Hadoop的海量数据存储平台设计与开发形成“数据孤岛”．如何存储和管理海量的海洋科学数据，使这些数据得到高效的利用，成为进行海洋科学研究项目的关键之一．因此构建一个北部湾海洋科学数据存储平台是目前充分发挥各重大基础科学研究项目研究效益的现实途径，也是北部湾经济区可持续