贸易地图生成软件并行处理方案的研究与实现）

《贸易地图生成软件并行处理方案的研究与实现）》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、贸易地图生成软件并行处理方案的研究与实现*）北京市科委项目：中国贸易业绩评价体系的研究与建立（课题编号：Z11）。作者简介：邵飞（1982-），男，硕士研究生，研究方向为并行计算和数据仓库；邸瑞华，教授，博士生导师，主要研究方向为分布式计算和分布式系统。邵飞，邸瑞华（北京工业大学计算机学院，北京，）摘要本文通过分析贸易地图生成软件的主要特征，找出软件运行的性能瓶颈，在此基础上制定了适合该系统的基于参数扫描分析的并行处理方案，并且在集群运行平台上实现了这一并行处理方案。系统运行结果证实，该方案缩短了生成贸易地图的时间，改善了

2、系统的整体性能。关键词并行处理，数扫描分析，贸易地图，消息传递接口TheResearchandImplementationofTradeMapCreationSoftwarewithParallelProcessingSolutionSHAOFei,DIRui-Hua(CollegeofComputerScienceandTechnology,BeijingUniversityofTechnology,Beijing,)Abstract：BywayofanalyzingthekeycharacteroftheTradeMa

3、pCreatingSoftwareinthispaper,aseriesofperformancebottlenecksofitarelocatedandstudiedwhenrunning,andputtheparallelprocessingsolutionbasedonparametricsweepwhichisfittestforthesystemintopracticeonthecluster.Ithasbeenconcludedthatthepropersolutioncanmakethetimeofcreat

4、ingTradeMapshorterandtheperformanceofthesystembetter.Keywords：ParallelProcessing,ParametricSweep,TradeMap,MPI1引言随着现代科学技术的发展，大规模数据处理向人们提出了新的挑战，并行处理为成功地解决这些问题开辟了一条可行的途径。本文的研究对象——贸易地图生成软件是中国贸易业绩评价体系中的一个子系统，它从供给与需求相结合的角度出发，根据常规经济指标对海量进出口贸易数据进行计算并把分析结果以数据表、气泡图等直观形式表示。由

5、于贸易地图生成软件的基础数据量大且逐年递增，贸易地图需按地区、按产品、按出口国别及企业的需求生成，数量极大，原有顺序生成贸易地图的系统已经无法满足性能的要求，需要改变软件运行方式来提升系统生成贸易地图的速度。为此我们采用并行处理技术，改变了贸易地图生成软件的系统结构，实现了基于参数扫描分析的并行处理方案，解决了生成贸易地图的效率和性能瓶颈问题。2贸易地图生成软件的性能瓶颈对贸易地图生成软件性能瓶颈的分析是如何确定并行处理方案，选择何种并行编程模型的重要因素。因此，要改变该软件运行方式来提升系统生成贸易地图的效率，基础是把握

6、该软件的主要特征，关键是根据系统主要特征找出生成贸易地图的性能瓶颈。2.1贸易地图生成软件的主要特征1．基础数据特性（1）基础数据具有海量性该软件的基础数据囊括了我国31省市14大类产品的进出口数据，数据量现已达到TB级以上,并且逐年增长。（2）数据之间相互独立基础数据之间藕合性、依赖性小。某省市某产品对应的要生成贸易地图的数据和某省市其余产品的数据之间没有联系，同时与其它省市产品的数据之间也没有联系。（3）生成贸易地图时不存在数据交换该软件在生成贸易地图计算数据时，各省市各类产品数据之间不存在数据交换和消息传递。2．生成

7、贸易地图的特点贸易地图是按照年份、类别、省市、产品以及企业的需求生成，种类多、数量大。贸易地图可分为出口贸易地图、进口贸易地图两大类，每一类又从不同角度细分为若干种类。贸易地图的个数是由年份、类别、省市和产品四个要素以及企业的需求确定的。3．该软件的运行机制该软件的系统体系结构采用的是三层架构：界面显示层、业务逻辑层和数据层。界面显示层负责和用户的交互；业务逻辑层负责系统逻辑和进程控制；数据层负责加载数据和Excel模板。贸易地图是一种复杂的专业数据图表，完全用Excel图表工具生成，不能满足需求。因此用ExcelVBA开

8、发了适合贸易地图批量生成的Excel模板。系统运行机制如图1所示。图1贸易地图生成顺序图从图1可知，用户提交生成贸易地图作业后，就产生生成贸易地图的主进程，执行主进程需开辟一个包含地址空间和初始化信息的执行环境，主进程按照进程容器中调用栈中保存的参数（年份、省市和产品等）循环从数据层取得相应的数据。每当