分布式存储系统中基于mpi并行计算编程模型

《分布式存储系统中基于mpi并行计算编程模型》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、分布式存储系统中基于MPI并行计算编程模摘要：海量的数据信息对WWW服务器的存储和检索系统提出了较高的要求，同时，互联网技术的发展为开发下一代适合高速发展的新的存储技术奠定了坚实的基础。为此，提出开发新一代基于消息传递编程接口的分布式网络数据存储系统。通过引入并行计算实现分布式存储系统的可靠性及可用性。Abstract:MassivedatastorageandretrievalsystemsontheWWWserverputforwardhigherrequirements，meanwhile,thedevelopm

2、entofinternettechnologyhaslaidasolidfoundationtodevelopanewgenerationofstoragetechnologyfortherapiddevelopmentofinternet.Forthis,putforwardtodevelopthenewgenerationdistributednetworkdatastoragesystembasedonmessage-passinginterface.Byintroducingtheparallelcomputi

3、ngtechnologytoachievethereliabilityandavailabilityofthedistributedstoragesystems.关键词：消息传递编程接口；并行计算；分布式存储系统Keywords:message-passinginterface；parallelcomputing；distributedstoragesystems中图分类号：TP301.4文献标识码：A文章编号：1006-4311(2012)36-0199-020引言随着近年来互联网信息技术以及社会化发展进程的加快，互

4、联网数据信息的数量级急剧增长，互联网的核心部分已不再是服务器，而更加注重它的存储系统。与此同时，随着高速网络技术、数据库处理技术、智能计算等技术的快速发展以及彼此之间的渗透结合，带来了数据存储领域新的研究及应用领域，这就为研究和应用新的存储技术奠定了坚实的基础。基于这样的事实，开发基于并行计算的分布式数据存储系统是可能的。本文主要讨论并行计算、分布式存储系统、基于消息传递编程接口(Message-PassingInterface,MPI)并行计算在分布式存储系统中的应用及实现过程。1并行计算并行计算，就是在并行计算机上

5、所作的计算。所有并行算法的设计都依赖于某种特定的并行计算的系统模型，而且建立并行计算模型需要依赖于具体的并行机，它可以在某种程度上表达出具体并行机的特性，同时也可以让算法的研究及应用具有较强的适应性，不受限于具体的并行机。并行算法的设计过程可分为任务划分、通信分析、任务组合和处理器映射四个步骤。在这个过程中，首先要实现算法的并发性以及扩展性；然后优化并行算法的通信成本以及执行时间，从而实现一个满意的设计思路；最后一步是实现映射，把经过优化处理后的多个进程分派到多个具体的处理器执行处理。2分布式存储系统分布式存储系统是把

6、数据信息分散地存储到多台彼此独立的服务器设备上，通过采用多台服务器来降低整体系统的存储负载。它不但可以提高系统的可靠性、实用性和运行效率，而且具有较好的扩展性。基于分布式存储的大量信息并行处理机(MassivelyParallelProcessor,MPP)的意义会随着时间的变化而改变。按照当前的科学知识体系，它主要表示由成百上千以至于上万的处理器构成的大型计算机系统。MPP系统属于非远程存储访问(No-RemoteMemoryAccess,NORMA)模型机器。大部分的MPP都采用物理上分布的系统存储器，而且采用分布

7、式的输入输出接口也比较多。目前MPP的公共系统结构如图1所示。其中的每一个节点都有一个或者多个处理器以及高速缓存(Processor/Cache,P/C)、一个局部的存储器(Memory,Mem),而磁盘及网络接口电路(NetworkInterfaceCircuitry,NIC)是可有可无的。它们均连向本地互连网络,节点间通过高速网络(HighSpeedNetwork,HSN)相连［1］。3并行计算在分布式存储系统中的应用3.1分布式存储系统中的并行编程模型借助互联网把多个处理器链接在一起构成分布式存储系统。整个分布式

8、存储系统的地址空间由每个处理器中独立的部存储器形成。地址空间的形成可以使用两种方法：统一编址和独立编址。统一编址方法使用相同的指令访问和管理远程存储器以及局部存储器，将系统中所有局部存储器作为一个整体进行集中编址［2］。独立编址方法主要借助于调用基于MPI的库函数来访问和管理远程存储器，对系统中的局部存储器进行单独编址。于是，产生