风云三号气象卫星大数据集产品并行处理模式

《风云三号气象卫星大数据集产品并行处理模式》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、JournalofComputerApplicationsISSN1001-90812015-12-15计算机应用，2015，35(S2):44－48CODENJYIIDUhttp://www．joca．cn文章编号:1001-9081(2015)S2-0044-05风云三号气象卫星大数据集产品并行处理模式*贾树泽，赵金雁，崔鹏，施进明(国家卫星气象中心运行控制室，北京100081)(*通信作者电子邮箱jiasz@cma．gov．cn)摘要:针对风云气象卫星地面应用系统中如何缩短大数据集产品的处理时延，提高系统资源利用率的问题，提出了一种基于性能预测的、计算节点作业执

2、行概率的信息素动态加权并行算法(pdw)，并构建了新的并行处理模式。该模式一方面能够根据轨道级遥感数据与目标产品之间的空间位置匹配关系进行网格处理粒度的合理划分;另一方面，采用pdw算法综合考虑节点本身的处理能力和实时负载信息进行分粒度作业的资源匹配调度。业务实测结果表明，较传统的处理模式，采用新的处理模式后，具有典型大数据集特征的风云三号(FY-3)中分辨率光谱成像仪(MERSI)250m分辨率全球植被指数分层数据格式(HDF)产品的处理时效提高了10倍左右，所提并行处理模式可以有效缓解I/O资源占用瓶颈、均衡系统负载，提升大数据集产品的处理效率。关键词:风云气象卫

3、星;分层数据格式;空间网格;大数据集;并行处理模式;负载均衡中图分类号:TP391．77文献标志码:AParallelprocessingmodeforbigdatasetproductionofFengyun-3meteorologicalsatellite*JIAShuze，ZHAOJinyan，CUIPeng，SHIJinming(OfficeofOperationControl，NationalSatelliteMeteorologicalCenter，Beijing100081，China)Abstract:Inviewoftheissuethathowto

4、reducethelatencyofprocessingthebigdatasetproductsandimproveresourceutilizationofclustersystemintheFengyunmeteorologicalsatellitegroundapplicationsystem，aschedulingalgorithmcalledpheromonewithdynamicweight(pdw)basedonperformancepredictionandcalculatingtheprobabilityofthenodebeingselected

5、torunthejobswasproposed，anewparallelprocessingmodewasalsobuiltbasedonthealgorithm．Ontheonehand，intheparallelprocessingmode，thespacegridprocessinggranularityofremotesensingdatawasdividedbythespacematchingrelationbetweentheorbitleveldataandtargetproducts．Ontheotherhand，thedataprocessingjo

6、bswerescheduledconsideringtheprocessingpowerofthenodeitselfandreal-timeloadbythepdwalgorithm．Theoperationalresultsshowthat，theprocessingefficiencyforFengyun-3(FY-3)MediumResolutionSpectralImager(MERSI)250mresolutionMERSIVegetationIndex(MVI)HierarchicalDataFormat(HDF)globeproductsisincre

7、asedbyabout10timescomparedthetraditionalmode，theproposedparallelprocessingmodecaneffectivelyalleviatebottleneckofI/Oresource，balancesystemloadandimprovetheprocessingefficiencyofbigdatasetproducts．Keywords:Fengyunmeteorologicalsatellite;HierarchicalDataFormat(HDF);spacegrid;bigd