一种提高WRF运行效率的方法.doc

《一种提高WRF运行效率的方法.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、一种提高WRF运行效率的方法岳捷（中能电力科技开发有限公司）摘要：本文涉及一种提高中尺度数值气象预报系统（WRF）数据前处理模块和数据后处理模块运行效率的实现方法（简称RAM技术）。该方法包括：（1）WRF数据前处理模块WPS启动前，将输入WPS的GFS气象数据拷贝至硬件系统内存RAM，之后启动WPS模块对GFS数据进行处理；（2）WRF后处理模块启动前，将WRF模式计算结果拷贝至硬件系统内存RAM，之后启动NCL模块对WRF计算结果进行后处理。该方法可以明显加速WRF前处理和后处理模块运行计算过程，使得WRF运行速度显著提升，减少用户等待时间。关键词：WRF；RAM；WPS；NCL；运行效

2、率1背景技术介绍目前，国内WRF数值气象预报系统大多运行在高性能并行集群之上。并行集群主要硬件资源通常被分为两种：“计算节点”和“I/O节点”，其中计算节点负责运行计算任务，I/O节点负责数据的存储并响应计算节点的存储请求，一般采用I/O节点服务多计算节点的模式。WRF计算所需要的初始数据、计算得出的最终数据以及WRF数值气象预报系统本身，都存储于I/O节点上。计算节点与I/O节点间一般采用NFS标准协议交换数据。当WRF计算任务被加载到并行集群时，各个计算节点首先从I/O节点获取GFS数据，然后进行计算，最后再将计算结果写入I/O节点。在这个过程中，WRF前处理和后处理程序启动后需要不断从

3、I/O节点读取数据存储块，导致WRF前处理阶段和后处理阶段I/O节点的负载非常大；而在主模式计算处理过程中，却几乎没有任何I/O负载。如何将输入到前处理模块的GFS（全球预报系统）气象数据快速地拷贝至硬件系统内存RAM中以及将WRF主模式模块的计算结果快速地拷贝至硬件系统内存RAM中，是一个亟待解决的问题。综上，并行集群计算节点CPU每秒运算次数在迅速增长，集群真正用于WRF主模式计算处理的时间越来越短。然而，由于并行集群I/O能力改进不大，并行集群中I/O效率没有明显进步，甚至会随着计算节点数的增加而明显降低。WRF数值气象预报系统的测试结果显示，当GFS数据时间密度较高或者后处理提取信息

4、量较大时，由于并行集群I/O效率较低，WRF前处理阶段和后处理阶段（例如NCL）所占用的整体时间已经相当可观，甚至可以占到60%左右。I/O效率成为高性能并行集群瓶颈。52RAM技术概要为解决高性能并行集群效率瓶颈问题，本文涉及提高前处理模块和后处理模块效率的方法包括以下步骤：（1）为I/O节点设置锁变量；（2）通过为所述锁变量赋值，控制计算节点和存储设备进行数据交互操作。通过在I/O节点上设置锁变量，控制装置可依次启动各个计算节点组中的计算节点执行系统所分配的任务。其中，步骤（2）包括：配置与所述存储设备进行数据交互操作的计算节点，并将所述计算节点的标识符存储在所述锁变量中；接收各个计算节

5、点的读写启动命令；当计算节点的标识符包含在所述锁变量中所存储的计算节点标识符中，则所述计算节点通过所述I/O节点对所述存储设备中的数据进行读写操作，并在所述计算节点完成对所述存储设备中的数据读写操作后，控制装置清空所述锁变量，并对所述锁变量重新进行赋值。控制装置根据系统所分配的任务，可依次将计算节点组中的计算节点的标识符赋值给锁变量，只有锁变量标识过的计算节点才可通过I/O节点与存储设备进行数据交互操作，其他节点无法通过I/O节点与存储设备进行数据交互操作，从而可实现依次启动各个计算节点组中的计算节点执行系统所分配的任务。3RAM技术实现3.1中心控制装置为I/O节点设置锁变量（S200）在

6、存储设备中，存储有大量的在前处理模块中所需要的GFS（全球预报系统）气象数据，在前处理模块启动前，需要将这些数据从该存储设备中读取到计算节点中，然后启动前处理模块对这些GFS（全球预报系统）气象数据进行处理，再启动主模式模块进行积分运算，积分计算的结果也存储在存储设备中，在后处理模块启动前，需要将主模式模块从该存储设备中读取到计算节点中。本文中以将存储设备中的GFS（全球预报系统）气象数据拷贝至计算节点的硬件系统内存RAM中为示例，同样可以理解，本方法也适用于将存储设备中的主模式的计算结果拷贝至计算节点的硬件系统内存RAM中。在WRF系统中，计算节点与存储设备的连接关系，参见图3，计算节点的

7、数目和I/O节点的数目，可根据需要处理的任务量进行配置，根据需要完成的任务要求，为该任务配置计算节点组以及相应的计算节点，在该系统中，每个计算节点具有唯一的标识符，同时根据该任务的要求，可将计算节点分组，从而可以将需要处理的5任务分为几部分，由不同的组执行该任务的不同部分。在该示例中，根据需要处理的任务配置24个计算节点，3个I/O节点，将计算节点分为6组，每组4个计算节点。计算节点组分别通过光纤变换器与I/