气象网格环境下大数据的端到端传输机制研究.pdf

《气象网格环境下大数据的端到端传输机制研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第33第l期计算技术与自动化Vo1．33，NO．12014年3月ComputingTechnologyandAutomationMar．2O14文章编号：1003—6199(2014)01—0122—05气象网格环境下大数据的端到,．i．而laa传输机制研究刘立明，王彬(国家气象信息中心，北京100081)摘要：以八个区域中心建立气象网格计算环境(CMAGrid)，有效整合利用各区域中心现有的高性能计算资源，以提高气象行业资源利用率和气象作业运行效率。气象作业运行过程中的输入和输出都需要在各区域中心之间进行数据传输，大量的气象数据文件较大，因此，在CAMGrid环境下实现高效的气象大数据传输是

2、个值得研究的课题。本文重点研究CMAGrid环境中各区域中心间端到端的气象大数据的高效传输机制。在气象网格环境搭建的基础上，根据气象大数据的特点，分析影响大数据传输效率的关键问题，基于缓冲区、数据切分、多路并行传输等机制研究一种大数据的端到端高效传输机制，有效利用现有的网络带宽，以提高气象骨干网环境下的数据传输能力。关键词：CMAGrid；端到端；大数据；多路；并发中图分类号：TP301．4文献标识码：AResearchofanEnd-to-EndTransferMechanismforBigDatainCMAGridEnvironmentLIULi—ming，WANGBin(National

3、Meteoro1ogicaIInformationCenter，Beijing100081，China)Abstract：InordertOimprovetheusingefficiencyofexistedmeteorologicalresourcesandtherunningefficiencyofmete—orologicaljobs，weestablishedaMeteorol0gicalGrid(CMAGrid)environmentwiththehighperformancecomputingre—sourcesofeightregionalcenters．Theinputando

4、utputofmeteorologicaljobsintherunningprocessneedtransferdataintheregionalcenters．Thecapacityofthemeteorol。gicaldatafileisalwaysbig，therefore，itisaworthystudytopictoimprovetransmissionefficiencyofthemete0rol0gicaldataintheCMAGridenvironment．ThispaperfocusesontheEnd—to—Endeffi—cientoftransmissionmecha

5、nismofthebigmeteorol0gicaldatabetweentheregionalcentersintheCMAGridenvironment．AccordingtOthecharacteristicsofmeteorologicaldataandheCMAGridenvironment，thispaperanalyzesthekeyproblemsthataffectsthetransferefficiencyofthebigdataanddesignsanefficientend—-to——endmultipathparalleldatatransfermecha—-nism

6、basedonthetechnologyofbufferarea，datasegmentationandmultipathparalleltransferandSOon．ItaimstofullyusethetransfercapacityoftheentirenetworkandimprovethedatatransmissionefficiencyintheCMAGridenvironment．Keywords：CMAGrid；End—tO—End；bigdata；multipath；intercurrent供计算和数据存储能力l1]。随着高性能计算机技引言术的进步，我们应该有效的整合利用

7、这些区域中心现有的高性能计算资源，搭建气象网格环境CMA—在气象领域，全国有八个气象区域中心，物理Grid[2]，以提高气象作业运行过程中的资源利用率位置分布在不同的城市，这些区域中心分别建设有和效率。高性能计算系统，为全国的气象部门的气象业务提全国气象宽带网络系统承担国家级和各省级收稿日期：2013—06—20作者简介：刘立明(1981)，男，山东临沂人，工程师，硕士研究生，研究方向：分布式计算