分布式文件系统中基于非易失存储器的缓存子系统

《分布式文件系统中基于非易失存储器的缓存子系统》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号UDC1P316．4004．75密级坌珏编号10299S1008071@江薛大擎硕士学位论文分布式文件系统中基于非易失存储器的缓存子系统CacheSubsystemBasedonNon—-volatileMemory指导教师作者姓名inDistributedFileSystem肖铁军教授李帅申请学位级别硕士专业名称计算机应用技术论文提交日期2013年4月论文答辩日期2013年6月学位授予单位和日期江苏大学2013年6月答辩委员会主席评阅人独创性声明本人郑重声明：所呈交的学位论文，是本人在导师的

2、指导下，独立进行研究工作所取得的成果。除文中已注明引用的内容以外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果，也不包含为获得江苏大学或其他教育机构的学位或证书而使用过的材料。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：巷11青2刀侈年∥月7日论文版权使用授权书江苏大学、中国科学技术信息研究所、国家图书馆、中国学术期刊(光盘版)电子杂志社有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复

3、制手段保存论文。本人电子文档的内容和纸质论文的内容相一致，允许论文被查阅和借阕，同时授权中国科学技术信息研究所将本论文编入《中国学位论文全文数据库》并向社会提供查询，授权中国学术期刊(光盘版)电子杂志社将本论文编入《中国优秀博硕士学位论文全文数据库》并向社会提供查询。论文的公布(包括刊登)授权江苏大学研究生处办理。本学位论文属于不保密么。学位论文作者签名：李砂手歹驴侈年∥月ljf日指导教师签名：弋为蠢0yl3’年七月7日江苏大学硕士学位论文摘要随着信息技术的发展，需要存储和管理的数据越来越多，作为存

4、储系统重要支撑之一的分布式文件系统将面临更严峻的挑战。缓存机制是提高分布式文件系统性能的重要手段。本文以分布式文件系统中新型缓存子系统为研究对象，主要工作如下：首先针对SAN环境下的分布式文件系统和清华大学高性能计算技术实验室研发的面向Flash对象存储系统，引入新型非易失存储器，设计了基于非易失存储器新型缓存子系统的结构，阐述了各功能模块的作用。其次，针对分布式文件系统关闭文件时需要同步数据和元数据对性能的影响，提出了基于非易失存储器的客户端缓存机制。设计了基于非易失缓存的写流程，将数据和元数据缓

5、存在非易失存储器上，在提高性能的同时避免数据和元数据丢失。设计了自适应缓存写回策略，通过动态调整写线程的数量，防止出现瓶颈。设计了基于报文合并的通信策略，减少通信对性能的影响。并在pNFS的基础上实现了原型系统，使用通用测试工具filebench应用fileserver与varmail负载，以及postmark设置5000、10000、30000和50000事务负载进行了测试，验证了基于非易失存储器的客户端缓存机制能提高分布式文件系统7％．1倍的I／O性能和1倍以上的事务处理速度。最后，针对SSD中

6、现有缓存资源紧缺、缺失文件系统语义以及分布式文件系统中基于非易失存储器的缓存子系统Flash读写速度不对称和擦写次数有限等问题，提出了面向Flash的存储设备缓存机制。在文件系统层实现SSD的缓存，引入基于对象的缓存管理方式，给出了基于对象SSD缓存的结构，设计了基于扩展．空间的缓存管理策略、数据与元数据关联管理方式，缓存主动调度策略，给出了基于对象缓存的访问流程。在面向Flash的对象存储系统中实现了原型系统，重放了TPC—C、Iphoto、Ipages、Seer四种负载的trace，设置不同的缓

7、存大小，统计块设备发往Flash的bio请求数以及bio请求的平均大小，验证了该缓存能够减小55％．95％的bio请求数，bio的平均大小是原来的3．5—25倍之间。关键词：缓存，非易失存储器，分布式文件系统江苏大学硕士学位论文ABSTRACTWiththedevelopmentofinformationtechnology,moreandmoredataneedstobestoredandmanaged，distnloutedfilesystemas．oneoftheimportantsuppor

8、tofstoragesystemwillfacegreaterchallenges．Cacheisanimportantmeanstoimproveperformanceofdistffoutedfilesystem．Thispaperfocusesonanewcachesubsystemofdistnloutedfilesystem，themainworkisasfollows：Firstly,inviewofdistnloutedfilesysteminSANen