linux高性能集群

《linux高性能集群》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、Linux高性能集群　　本文是高性能集群系列文章的第三部分。在本文中，笔者以IBMeServerCluster1300为例介绍了Beodal法则说明了这种情况。运行在同一主板上多个CPU的Unix和NT＋线程属于这一类型。SMP系统合适采用这种方法。　　多CPU多任务操作系统+消息传递：在SMP系统中，由于采用共享内存，所以CPU通信的时间几乎可以忽略。但是在象集群这种系统中，通信时间成为不得不考虑的因素。这时，使用线程是一种很奢侈的方法。这种情况下，消息传递是一种比较好的方法。(本系列文章的第二部分解释了这种情况)。同一个主板或多个主板上的多个CPU+Unix和NT+

2、消息传递属于这种类型。　　Beoezzo属于分布式文件系统(确切的说，NFS只是网络文件系统)，GFS属于并行文件系统，而Backend-database则属于不同于文件共享的另一种形式的共享。　　　　3.2.1rsync　　rsync是一种简单的文件共享实现方式。集群中的每个节点都有一份数据复本，复本间使用rsync进行同步。因为节点需要的数据就在本地，所以这种方法具有很高的可用性，不会出现单点失效现象。　　如果需要的共享的数据量很小，而且很少更新时，可以采用这种方式。静态网页和小的FTP站点的可以使用这种共享方式。　　3.2.2NFS　　这也是一种容易实现的方式。存

3、储节点通过NFS将自己本地的文件输出，其他节点则把存储节点输出的文件系统mount到本地文件系统。NFS方式的存在两个很大的缺点：　　性能差：因为所有的文件访问都必须经过网络和NFS服务器，所以在访问流量比较大的情况下，网络带宽和NFS服务器都会成为系统的瓶颈。　　单点失效：如果NFS服务器的系统失效或者网络失效都会使得其他节点无法得到数据，从12下一页....，。而使整个集群系统瘫痪。　　　　当然使用多个互为备份的NFS服务器可以改善性能和避免单点失效，但是这样又会带来如何实时保持备份服务器间数据一致性的问题。NFS方式适合于共享访问数据量不大的小型集群系统。　　3.

4、2.3GFS　　GFS(GlobalFileSystem)实现了存储设备的网络共享。这些存储设备可以是共享SCSI(SharedSCSI)和共享通道(FibreChannel-FC)。GFS包装这些存储设备使得它们好像节点本地的文件系统。GFS的主要优点在于：　　高可用性：如果一个GFS客户失效，数据还可以通过其他GFS客户访问。　　扩展性：因为不需要中心服务器，所有很容易扩展存储容量和访问带宽。　　　　GFS可以将物理上分离的存储设备虚拟为一个存储而且能平衡访问负载。GFS还实现了文件锁和实时文件系统。　　3.2.4Intermezzo　　Intermezzo实现了一

5、个分布式的文件系统。它采用客户/服务器模式。服务器拥有权威的数据，客户节点仅有本地缓冲的版本。它们通过普通的网络进行同步。Intermezzo支持断开连接下文件操作。在下次恢复连接时，它会集成本地的改动到服务器上。Intermezzo拥有象GFS一样的可用性和可扩展性。但是它无法保证数据的实时一致性。　　　　3.2.5BackendDatabase　　基于后端数据库的共享是完全不同于文件共享的方式。后端数据库系统解决了数据的一致性、性能、可用性和可扩展性问题。但是数据库的访问方法要比文件访问复杂的多。　　　　4并行化应用程序　　并行化应用程序，使其更高效的运行是使用Be

6、o或MPI消息，或者增加程序执行的线程从而达到程序的并行化。显式并行化通常难以实现和调试。为了简化显式并行化，某些开发库中增加了一些函数用于简化标准并行方法的实现。上一页12....，。