并行文件系统数据容错研究

《并行文件系统数据容错研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、华中科技大学硕士学位论文并行文件系统数据容错研究姓名：杨俊杰申请学位级别：硕士专业：计算机软件与理论指导教师：李胜利20040401摘要近年来随着高速网络和高性能工作站的出现集群系统已经成为理想的并行计算平台随着集群规模的扩大集群系统失效的概率也在增加因此使集群系统在有部分节点失效的情况下仍然能够继续工作的容错机制就显得尤为重要基于集群的并行文件系统可以利用每个工作站上所带的磁盘而不使用昂贵的硬件磁盘阵列来达到对并行I/O支持对并行文件系统的容错研究具有十分重要的理论意义和实际应用价值实现并行文件系统的容错主要有两种方式软件磁盘阵列和数据复制这两种技术对系统的负载平衡和可扩展性都没

2、有提供很好的支持在PVFSParallelvirtualfilesystem的基础上对并行文件系统数据容错进行研究采用了一种以每个文件为一个复制组以PVFS子文件为复制单位的数据复制策略并利用该策略实现了并行文件系统的数据容错用户应用程序可以根据对文件可靠性的不同要求指定文件在系统中存放的副本个数从而使不同文件有不同的可靠性元数据管理器按照数据放置策略使一个I/O节点的所有子文件的副本可以平均分布在所有其他I/O节点上在任一I/O节点失效后其上的工作负载能够平均分布到所有其它没有失效的I/O节点上节点重新加入集群进行数据一致性的恢复时系统使一致性恢复负载也能够平均分布到整个集群内以

3、上几点使此数据复制技术与传统的数据复制技术相比更有利于系统的负载平衡增强系统的可扩展性关键词容错一致性数据复制数据分片并行文件系统IAbstractWiththecomingforthofthehigh-speednetworktechnologyandhighperformanceworkstationinresentyears,clusterhavsbecomeanideaplatformforparallelcomputing.Withtheincreaseoftheclusterscale,theprobabilityofsystemfaultisincreasing.In

4、theclusterenvironmentfailureisveryharmfulforthelongtimerunningapplication.Inthiscircumstancefault-toleranceisveryimportant.Fault-tolerancecanmaketheprogrammedcontinuerunninginspiteofthefailureofsomenodesofthecluster.Parallelfilesysemisavitalcomponentofthecluster.byemployparallelfilesystemclust

5、ercanusethelocaldiskspaceoferverynodetogettheparallelI/O,insteadofusingexpensivehardwareRAID.Parallelfilesystemisavitalforcluster,sotheresearchonthefault-toleranceoftheparallelfilesystemisveryimportant.Therearetwomainmothedforimplementingtheparallelfilesystemfault-tolerance.TheyaresoftwareRAID

6、anddata-replication.ThetwomothedcannotBackuptheload-balanceoftheclustersystem.BasedonthePVFS.Employanewdata-replicationmethodtoimplementthefault-toleranceofparallelfilesystem.Inthemothed,itfirstdistributedthefileonagroupofI/Onodes,thenduplicateerverysub-fuleofthesamefileonothernode.Themeta-dat

7、amanagermethodisveryagility.Theuserapplicationcandecidehowmanyreplicationshewants.Sodifferencefilehavedifferencereliability.Thedata-placepolicycanmakethereplicateddataofthefilesononeI/Onodesisde-clusteringacrossallI/Onodesinthecluster.T