并行文件系统缓存技术研究

《并行文件系统缓存技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、华中科技大学硕士学位论文并行文件系统缓存技术研究姓名：林运章申请学位级别：硕士专业：计算机软件与理论指导教师：韩宗芬20040412摘要作为集群的I/O子系统并行文件系统实现对分布在集群内各节点上的文件设备和网络资源的全局访问为集群服务器系统设计一个高性能的并行文件系统是很有必要的利用主存速度和网络带宽磁盘带宽之间的差异在主存中实现缓存是提高并行文件系统性能的主要手段之一PVFSParallelVirtualFileSystem是一个开放源码的并行文件系统针对PVFS文件访问速度慢可靠性差等缺点HPVFSHighperformanceParallelVirtualFi

2、leSystem以PVFS为基础平台实现了多项高可用高可扩展文件高速访问方案其中包括缓存系统HPVFS的缓存系统包括元数据缓存计算节点数据缓存和存储节点缓存三种旨在实现元数据和数据的高速访问元数据缓存通过改进元数据访问网络协议等措施对命中的元数据减少一次网络通信使各有关操作速度得到提升此外将脏元数据直接写回元数据服务器并迅速检查和纠正元数据异常保证元数据缓存的一致性采用共享内存方式实现计算节点缓存每个计算节点都运行一个守护进程申请和管理共享内存缓存空间应用进程把共享内存映射到自己的内存空间便可以直接访问缓存减少了进程通信时的内存拷贝次数实现了节点内进程间数据的真正共享

3、存储节点缓存关注多个存储节点同时向一个用户提供数据时可能出现的一个严重问题单一存储节点缓存单独缺失会降低其它存储节点缓存效率采用存储节点缓存协同置换算法CMQCoordinatedMulti-Queue把一些经常同时被访问的数据块归为一个访问组并对访问组施行整体置换策略使各存储节点缓存的命中率趋于均匀从而提升并行文件系统存储节点缓存的整体命中率测试结果表明元数据缓存可以使元数据相关操作速度提升一倍以上计算节点缓存可以使并行读和并行写性能提高30%以上仿真结果表明与LRULFU等传统置换算法相比用于存储节点缓存的置换算法CMQ命中率提升可达125%以上关键词并行文件系统

4、缓存元数据缓存计算节点缓存存储节点缓存IAbstractAstheI/Osubsystemofclusterserver,Parallelfilesystemrealizesthegloballyaccessingofallfiles,devicesandnetworkresourcesdistributedonthenodesofcluster.Itisnecessarytoproviderahighperformanceparallelfilesystemtoclusterserver.Makingfulluseofthedistanceamongthememor

5、yspeed,networkbandwidth,anddiskbandwidth,buildingcachesinthesystemisoneofthemajormethodstoenhancethefilesystemperformance.PVFS(ParallelVirtualFileSystem)isanopensourceparallelfilesystem,whichhaspoorfileaccessperformanceandpoorscalability.Aimedattheseproblems,HPVFS(HighperformanceParalle

6、lVirtualFileSystem)implementsmultiplehighscalability,highavailability,andhighI/OthroughputratestrategiesonbasisofPVFS.Cachesystemisoneofthesestrategies,whichrealizerapidaccessofmetadataanddata.ThecachesystemofHPVFSconsistsofmetadatacache,computenodescacheandstoragenodescache.Withstrateg

7、yofsimplifyingmetadataaccessprotocol,themetadatacachereducesonecommunicationwithmetadataserveroncethecachehits.Becausethemetadatacanbetimelywrittenbacktothemetadataserver,andthemetadataexceptioncanbequicklycheckedoutandcorrected,themetadatacacheeliminatestheconsiderationofmetad