集群文件系统分析报告

《集群文件系统分析报告》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、集群文件系统分析文档编号作者李文文版本1.1修改历史1.0：2010.8.13集群文件系统介绍1.1简述1.1.1集群通俗地讲，集群是指一组计算机以某种方式联结起来并协同完成特定任务的系统。在这个系统中，计算机可以是同构的(如目前最常使用的基于x86构架的PC服务器)，也可以是不同构的(如混合采用PC服务器及RISC服务器)；而系统内各计算机之间可采用以太网或专用网络连接。一组计算机要成为集群的一个必要条件是它们要协同工作完成特定任务。从用户的角度，集群就像是一台具有强大处理能力的服务器。在集群内部，各服务器可能承担不同的任务，但我们可以把它们统称为节点机。集群是一种分布存储

2、的并行系统，各结点通信主要使用消息传递方式。集群与MPP的主要区别有：集群的每个结点都是一个完整的计算机系统，包括CPU、内存、硬盘，但可能没有显示器、键盘、鼠标等外围设备，这样的结点称为“无头工作站”；MPP的每个结点内不一定有硬盘。集群的结点间通常使用低成本的商品化网络相连，如以太网、ATM、Myrinet等，而MPP使用专门定制的网络，这个特征被认为是集群与MPP最主要的区别。集群结点与系统级网络的网络接口是连接到结点内的I/O总线上的，属于松耦合；而MPP的网络接口是连到结点内的存储总线上的，属于紧耦合。集群的每个结点上驻留有完整的操作系统；而MPP的结点内通常只有操

3、作系统的微核。根据所要完成任务的不同，通常把集群分为三种基本类型，包括高可用(High-Availability)集群、负载均衡(Loadbalance)集群及高性能(HighPerformance)集群。　　（1）高可用集群　　有许多应用程序都必须是一天24小时不停地运转，如各大网站的Web服务器、数据中心、远程通讯转接器、医学与军事监测仪以及股票处理机等，对这些应用程序而言，暂时的停机都会导致数据的丢失和灾难性的后果。高可用集群正适用于这种情况：它利用两台(或更多)有相同服务的服务器，实现集群服务的高冗余度，对外提供不间断的服务。　　集群系统的每个服务都有主服务器与(一台

4、或多台)备用服务器，服务由主服务器处理，而备用服务器处于等待状态；集群内各服务器都运行heartbeat程序，使用以太网、串口、共享存储等方式相互发送信息，以检测其它服务器的运行状况；当备用服务器发现主服务器不能正常工作时，它会自动接管主服务器的服务继续对外服务；当主服务器恢复正常时，备用服务器又可把服务自动交还主服务器处理；集群的服务仅会在服务器切换过程中可能有短暂中断。　　任一时刻，高可用集群的任一服务只能由一台服务器提供，但可以有多个备用服务器，更多的备用服务器意味着更高的冗余度。高可用集群的不同服务器可以是不同服务的主服务器，并同时也可以是其它多个服务器的备用服务器。

5、集群对某一服务的处理能力相当于单台服务器的处理能力。　　（2）负载均衡集群　　负载均衡集群可使负载在集群中尽可能平均地分摊处理，充分利用集群内各节点机的处理能力，提高对任务的处理效率。这种集群非常适合于需要运行同一组应用程序的大量用户，每个节点都可以处理一部分负载，并且可以在节点之间动态分配负载以实现平衡。　　在这种集群中，同一任务或服务由多个节点共同承担，集群的处理能力是这些节点机处理能力之和。由于集群内有多个节点可完成同一任务，当某一节点发生故障时，其它节点仍可继续工作，从而保证了服务的连续性，所以这种集群也有一定的高可用性。　　根据所承担任务的不同，负载均衡集群又可进一

6、步分为面向作业处理的批处理型负载均衡集群及面向网络服务的网络流量型负载均衡集群。　　批处理负载均衡集群一般利用批处理作业管理系统，如LSF、PBS等。它们不断监测集群内各节点机的负载情况，把作业分配到负载较轻的结点进行处理，加快处理速度，提高集群的使用效率。网络流量负载均衡集群主要面向网络服务，如Web、Mail等。集群中的服务器分为两类Director(网络流量负载均衡服务器)与Realserver(实际服务器)。Director是集群的核心，它接收来自用户的网络请求，根据集群内各服务器的负载情况把这些请求转发给适当的服务器处理。Realserver是集群内负责提供真实服务

7、的服务器，完成实际的处理工作。通过把网络流量在集群内较均衡的分配，加快了对用户请求的响应速度。（3）高性能集群　　高性能集群主要用于处理复杂的计算问题，应用在需要大规模科学计算的环境中，如天气预报、石油勘探与油藏模拟、分子模拟、基因测序等。高性能集群上运行的应用程序一般使用并行算法，把一个大的普通问题根据一定的规则分为许多小的子问题，在集群内的不同节点上进行计算，而这些小问题的处理结果，经过处理可合并为原问题的最终结果。由于这些小问题的计算一般是可以并行完成的，从而可以缩短问题的处理时间。高性能集群在计