《高性能计算集群的 Linpack测试及其在大数据中的应用》.pdf

《《高性能计算集群的 Linpack测试及其在大数据中的应用》.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、计算机与现代化2015年第5期JISUANJIYUXIANDAIHUA总第237期文章编号：1006—2475(2015)05-0025-05高性能计算集群的l,inpack测试及其在大数据中的应用韩菲，孙赞东，苏辉(中国石油大学(北亭)地质地球物理综合研究中心，北京102249)摘要：高性能计算集群用于高效并行计算，具有很高的性价比和良好的可扩展性，如何测试和评价集群系统性能成为一个关键问题。本文基于6个节点的集群进行Linpack测试，测试不同问题规模、计算节点数、求解矩阵数据分块NB、处理器网格拓扑P×Q、网络通信等重要

2、因素，将单机与集群的计算性能进行对比，测试集群性能，结果表明：该集群的并行计算性能良好，可扩展性强，但硬件通讯能力需进一步改善。应用该集群到实际的地震大数据计算中，该集群的并行计算能力得到了很大的提升。关键词：Linpack；高性能计算；性能测试；大数据中图分类号：TP393文献标识码：Adoi：10．3969／j．issn．1006-2475．2015．05．006LinpackTestofHighPerformanceComputingClusterandItsApplicationinBigDataHANFei，SUNZ

3、an—dong，SUHui(LaboratoryforIntegrationofGeologyandGeophysics，ChinaUniversityofPetroleum，Beijing102249，China)Abstract：Highperformancecomputingclusterforefficientpar~lelcomputingisofveryhighcostperformanceandgoodscalabili—tv．HOWtotestandevaluatetheclustersystemperform

4、ancebecomesakeyproblem．Inthispaper．wemadeaLinpacktestbasedonhighperformancecomputingclusterof6nodes．DifferentmatrixSCaleN，computationalnodes，blocksizeNBofmatrix，pro—cessorgridtopologyandnetworkcommunicationweretested．ComputingperformancetoPCandclusterwerecomparedand

5、clusterperformancewastested．Theresultsshowthat：theclusterparallelcomputingperformanceisgoodandisofstrongscalability，butthehardwarecommunicationabilityshouldbefurtherimproved．TheclusteriSappliedintothecomputingoftheactualseismicbigdata．Itisknownthattheparallelcomputi

6、ngperformanceoftheclusterhasbeenimprovedgreatly．Keywords：Linpack；highperformancecomputing；performancetest；bigdata提供一个更好的平台。为测试该小型集群的性能，本0引言文采用Linpack来测试集群的性能，分析其并行性和Linpack(LinearsystemPackage)测试在HPC可扩展性，并在实际的地震大数据处理中，通过与单(HighPerformanceComputer)领域中最具有权威性。台计算机的计算量和

7、计算时间的对比体现该小型计该测试采用求解线性方程的方法，测量不同问题规模算集群的并行计算能力。的求解时间，结果以浮点运算次数(Flops)来表示j。1Linpack测试Linpack测试目前已被广泛应用，世界TOP500中的很多超级计算机都采用Linpack来测试性能。随着1．1Linpack测试标准大数据全面走人现代社会，单台计算机处理大数据的1)Linpackl00测试，规模100×100的线性代数能力越来越有限，而大型计算集群又存在占地面积方程组被求解_2j。这是要求最为严格的一种测试，大、耗电量多、维护成本高等诸多不便

8、，因此本文将6其测试程序不可以做任何修改，所有的优化只能在编台计算机节点搭建成小型的计算集群，尝试在降低计译器里完成。算成本的情况下尽可能提高并行计算性能，并且将该2)Linpackl000测试，规模1000×1000的线性集群应用到实际的地震大数据处理中，为处理大数据代数方