资源描述：
《高性能计算平台的io性能测试与分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、高性能计算平台的IO性能测试与分析亮1,聂瑞华2李(1.华南师范大学计算机学院,广东广州510631;2.华南师范大学网络中心,广东广州510631)摘要:在高性能计算平台上测试NFS和Lustre文件系统在大规模并行计算环境下的IO速率,根据测试结果分析该实验平台的IO瓶颈并提出改进方案;之后测试本地Cache、并行应用进行IO时的TransferSize和并行程序存取文件的FileSize等因素对分布式文件系统性能的影响,并根据实验结果提出如何合理地部署并行软件以有效地利用本地Cache,以及提
2、出在编写并行程序时设置合适的TransferSize和FileSize以提高IO性能的建议。关键词:高性能计算;并行IO性能;并行文件系统;IO性能测试;Lustre文件系统中图分类号:TP344文献标识码:Adoi:10.3969/j.issn.100622475.2011.06.045TestandAnalysisofIOPerformanceonHighPerformanceComputingPlatformLILiang1,NIERui2hua2(1.SchoolofComputer,Sou
3、thChinaNormalUniversity,Guangzhou510631,China;2.NetworkCenter,SouthChinaNormalUniversity,Guangzhou510631,China)Abstract:ThispaperteststheperformanceofNFSandLustrefilesysteminthelargescaledistributedcomputingenvironmentonhighperformancecomputingplatform
4、.Accordingtotheresults,theIObottleneckisknowninthishighperformancecomputingplatformandanadviceisgiventoimprovetheIOperformancetosolvethebottleneckproblem.Thenthispapertestshowthelocalcache,file’ssizeandtransferSizeaffecttheparallelfilesystems’IOperform
5、ance,andproposeshowtodeploytheparallelappli2cationsandwritetheparallelprogramsefficientlytoimprovetheIOperformance.Keywords:highperformancecomputing;parallelIOperformance;parallelfilesystem;IOperformancetesting;LustrefilesystemferSize和FileSize,以提高IO性能的
6、建议。0引言1高性能计算平台简介我校高性能计算平台采用Cluster机群体系结构[5],节点系统包括计算节点、胖SMP计算节点、IO节点和管理节点。其中计算节点的配置为43AMD8374HE2.2GHz4核处理器,32GDDRII667内存,13160G硬盘;IO节点配置为23AMD23782.4GHz4核处理器,16GDDRII667内存,23300G15KSAS硬盘;管理节点配置为23AMD23782.4GHz4核处理器,16GDDRII667内存,23300G15KSAS硬盘。网络系统包括计算
7、网络、数据网络和管理网络。计算网络使用20Gbps速率的Infiniband[6]网络将计算节点全相连,数据网络通过千兆以太网将计算节点与IO节点全相连,管理网络将管理节点、计算节点和IO节点全相连。存储系统包括底层的SAN磁盘阵列系统[7]和高高性能计算已被公认为继理论科学和实验科学之后,人类认识世界改造世界的第三大科学研究方法,是科技创新的重要手段[1]。高性能计算机的快速发展,尤其是计算能力的飞速提升,对位于底层起支撑作用的并行IO系统产生了更高的性能需求。为了设计更高性能的分布式IO系统,为
8、了更为有效地利用现存的并行IO系统,需要了解高性能计算机上IO系统的存储方式、工作性能及影响IO吞吐率的各种因素[2]。本文介绍我校高性能计算机的体系结构和存储系统,描述我校高性能计算平台上IO系统的总体性能测试结果,测试并行计算中对IO性能产生影响的各种因素,根据实验结果,分析本实验平台的IO性能瓶颈所在并给出改进IO性能的方案,提出在高性能计算平台上如何合理地部署并行软件,以有效地利用本地Cache以及在编写并行程序设置合适的Trans2收稿日期:20112032
