并行分布可视化系统javis 体系结构new

《并行分布可视化系统javis 体系结构new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2008年伞围高性能计算学术年会并行分布可视化系统JaVis体系结构肖丽王弘垫艾志伟(北京应用物理与计算数学研究所高性能计算中心100088(xiaoli@mailiapcmaccn)摘要：面向现代高性能数值计算，『aⅥs采用基于组件的分布式系统、数据并行可视化流程、优化的数据流网络和可扩展绘制等关键技术，实现对TB级数值模拟结果的可视化和数值分析，关键词：可视化并行分布式数据流网络优化TheArchitectureofaParallelDistributedVisualizationSystemJaVisXI

2、AOLiWANGHong—-KunAIZhi--WeiAbstract：JaVisiSaparalleldistributedvisualizationsystemanddataanalysistoolorientedtotheTerascaledataInthispaper，weintroducethearchitectureofJaVisand“smart”techniques．suchascomponentbased．distributedframework，advanceddataparallelism

3、，optimizeddataflownetworkandscalablerenderingKeywords：Visualization，parallel，distributed，scalable，dataflownetwork，optimize1引言自1995年美国启动ASCI计划，超级计算机迅猛发展。现代超级计算机产生的数据的规模是惊人的，数据复杂性的增长速度更快。传统数值分析方法难以满足科研人员分析数据的需求。科学数据可视化和可视的数值分析方法正成为许多科学领域理解超大规模数据的重要手段⋯。现代可视化T具必

4、须解决m于数据规模引入的数据传输、数据载人和数据处理等诸多问题。同时标准可视化技术处理大规模数据往往产生复杂的可视化结果，丢失有意义的区域或趋势。凼47此降低数据复杂度，提高大规模数据的易理解性，就又成为一个新挑战。当前数掂分析分为数据探察、定量分析、比较分析、可视调试和展示图像等五大类”。现代可视化1．具必须尽量集成多样的可视化和数值分析方法才能满足现代数值分析的需求。可视化T1具应根据具体的可视化任务，自动选择算法执行需要的优化条件，实现高效分析。JaVis是面向TB级数据的通用可视化和数据分析软件。本文主

5、要介绍实现JaVis使用的几项关键技术，并给m具体的应用实例及结论，篓翟二●率地计i酣几_远穗_靴。．型塑!型娑”f元数据艉务器一f目删母像一再未—』习r丽磊_。—1』兰塑叫如图l所示，JaVis将整体功rta,,i]分成四个组件：用户界面，观察器，计算引擎和元数据服务器。组件作为独立进程运行，可分布在不同的机器半台，实现其分布式系统的体系结构。其中用户界面实现用户和可视化1+具的交互。观察器接收转发来自用户界面的可视化请求，获取可视化和数据分析结果，反馈给用户接口或绘制图像；元数据服务器负责提供文件系统信息以

6、及数掂文件的元数据信息；计算引擎执行数据处理操作，生成几何罔元或图像、用户接口和观察器运行于本地计算机，以充分利用图形硬件对绘制的加速能力、元数据服务器和计算引擎运行于数据所在的远端计算机，以利用其强大的并行处理能力，避免数掂传输。2．2组件间通信JaVis通过代理机制实现组件间的信息交换以协同]作。组件和组件代理具有相同的接口函数；调用组件代理的接口函数就可实现对组件接口函数的调用；组件的执行结果通过组件代理返回”】。如图2所示，JaVis的各个组件模块中保存有需要与之通信的组件的代理。组件调用其他组件的代理

7、以实现与相应组件的信息交换。组件和组件的代理之问通过连接通道传递信息和数据。连接通道可以是内存、文件或Socket。组件可分布运行于异构环境，连接通道还负责亨节序转换T作组件与其代理有两个连接通道，分别用来接收和发送信息。具体如图3所示。图3组件和组件代理连接与通信流程罔线并行三大主流技术“任务并行和流水线并行在处理数掂规模和并行可扩展性上存在缺陷，不适用于大规模数据可视化。数掂并行的并行进程数几乎没有限制，每个进程只处理局部数据，内存问题得以解决。但数据并行需同步通信解决数据分布带来的影响，降低了性能。JaV

8、is改进数据并行的通信机制，将通信聚集在可视化流程两端。如图4所示，在数据读人阶段进行聚合通信，为准备影像数据，去除数据相关性，确保各并行进程独立执行。在绘制阶段通过聚合通信，按照算法需要将数据重新分配到各个进程，收集结果数据和合成可视化结果。P0数据僖^Pl鼽据读^‘教据读^nn数据谴^赴Ⅱ模*址Ⅲ懂堍处Ⅲ慎块扯4懂堍址Ⅱ模块n处4檀嵌n处Ⅲ槿蟪n盐4槿$1n图像鉴制目悔绘制目像结制