分布式并行文件系统dpfs的ssi技术

《分布式并行文件系统dpfs的ssi技术》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分布式并行文件系统DPFS的SSI技术式并行文件系统、分布式并行数据库。国外从80年代就开始对分布式和并行操作系统进行了研究。DEC公司的VMScluster系统和Trucluster系统，Microsoft的wolfPack，Turbolinux公司的Turbocluster，RedHat的Piranha和开源的MOSIX、IBM的SP2、SGI的Origin2000、DEC的DigitalClustersforWindowsNT和Sun的FullMoonCluster都是典型的机群体系结构。一些著名的大学如加』-l,l{fl克利(UCBerkeley

2、)、康奈尔(Cornell)、威斯康星(Wisconsin)等也分别有分布式并行系统研制计划或成果。国内也对分布式和并行操作系统作了多年的研究，主要有：章文嵩博士发起的机群项目一--LVS(LinuxVirtualServer)、武汉大学wuPP一80分布式并行处理系统、清华大学计算机科学与技术系TsHDuNIX分布式文件系统、国家智能计算机研究开发中心研制的曙光2000、联想NSl0000高性能集群服务器、朗新公司的LongShineClusterServer和哈尔滨工业大学并行分布处理文件系统PDPOS等。但是非常遗憾，这些系统都不能彻底解决系统瓶颈

3、和系统故障重构恢复问题。服务器图1～1一个信息系统简单的简单框架我们可以把一个信息系统简单地描绘成如图1～l所示，图中交换机的总体交换速度已达Tb／s，现有高档个人计算机的处理速度和存储容量已足以满足单个用户的需求。然而，现有市场上的单机服务器、双机热备份或镜像服务器却成为制约其发展的瓶颈。主要原因在于其有限的可靠性、处理能力和存储容量等。采用分布式服务器可使负载均衡，但如偶遇大型任务则无能为力，为此引入并行处理机制，将分布式动态任务调度机制和并行处理机制融于一体形成分布式并行服务器则可大幅度提高系统可用性(Availability)、吞吐力、I／0响应

4、速度和存储容量等。国内外已对分布式并行服务器进行了大量的研究‘1卜120l，【24H391，例如FelberP,GuerraouiR．PutterP’RoosJD．WolfftLohrK—EABarak，0La'adall等人，但他们只局限于服务器内部的研究，而没有很好地解决用户和服务器之间的接口问题。请求和结果均从其中的一个计算机进出，这个计算机就成为了其系统的瓶颈，影响了系统的可靠性(或可用性)、吞吐力、I／O响应速度等。在分布式并行服务器中，客户端和服务器端有相应的分布式并行i／O接口，其功能是使客户端请求按分布式井行文卅：系统DPFS的SSI技术

5、当时服务器中可用节点机情况基本均衡而又随机她发往服务器中的各相应节点机，这一过程对用户是透明的。在完成每一个用户请求的这一步之后，若服务器中各节点机之间的负载之差超过一定限值，则在服务器内进行智能化动念负载再调度。基于这种调度技术的分布式并行服务器消除了任何瓶颈，从根本上提高了系统的可用性，吞吐力和I／O响应速度均因此而提高。因为服务器中各节点机均接入交换机，而交换机的总交换速度已达Tbls，而且还在不断提高，所以基于分布式并行I／O接口和有效的调度算法，服务器的处理能力和存储容量可根据需求伸缩节点机数而得到增减。1．3关键问题分布式并行文件系统ssl主

6、要需求是：f1)高可用性服务器系统为任一客户(机)提供服务。当系统中有部件发生故障，系统可以按照一定的故障隔离算法和机制隔离故障部件，将系统中的其余部分重新组成一个有机的整体。原来因故障而中断的服务将从断点处继续对外提供服务，对原来没有中断的服务没有任何影响；DPFS具有RAS特性(可靠性、可用性和可维护性一般统称为RAS特性)，可支持永不停顿地为应用提供服务。高可用性的需求同时隐含包括了数据一致性的需求。f2)N络透明性数据可以并行地在各个节点间存储，其存储位置对用户是透明的。系统中的副本根据访问量和访问类型动态地在各节点之间智能分布；当访问量增加时系

7、统在各个节点间动态增加或者减少副本。其他需求是隐含包括的，例如高可伸缩性、维持文件系统原有的语义、面向对象的设计思想等等。必须解决的关键技术问题和发展方向包括：·网络透明性技术；●负载平衡技术；●高可用性技术；本文中憋讨论内容主要涉及：网络透明性技术、负载平衡技术和高可用性技术。在系统中每一个节点构建一个全局一致的内存名字空间，并使得在该名字空f白j的中的名字可以透明的指向分布式并行系统中的资源对象，从而实现网络透明分布式并行文什系统DPFS的SSI技术性；在动态副本管理中采用负载平衡算法保证系统资源的均衡分配；采用冗余副本机制保证资源高可用性；采用同志

8、恢复机制保证高可用性容错；一致性消息驱动机制保证数据和信息一致性。本文的安排如下