面向城轨线网的海量小文件存储方法的研究与实现

《面向城轨线网的海量小文件存储方法的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文面向城轨线网的海量小文件存储方法的研究与实现作者姓名廖家赵学科专业计算机应用技术导指教师刘掠教授所在学院计算机科学与工程学院论文提交日期2015年6月ResearchandImplementationofanApproachtoStoreMassiveSmallFilesForUrbanRailTransitNetworkADissertationSubmittedfortheDegreeofMasterCandidate：LiaoJiazhaoSupervisor：LiuQiongSouthChinaU

2、niversityofTechnologyGuangzhou,China分类号：TP391学校代号：10561学号：201220112461华南理工大学硕士学位论文面向城轨线网的海量小文件存储方法的研究与实现作者姓名：廖家赵指导教师姓名、职称：刘琼教授申请学位级别：硕士学科专业名称：计算机应用技术研究方向：网络与高性能计算论文提交日期：2015年6月17日论文答辩日期：2015年6月5日学位授予单位：华南理工大学学位授予日期：2015年6月30日答辩委员会成员：主席：唐韶华教授委员：刘琼教授何军辉副教授杨灿副教授许洁

3、斌副教授华南理工大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研宄所取得的研宄成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写的成果作品。对本文的研宄做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，艮h研宄生在校攻读学位期间论文工作的知识产权单位属华南理工大学。学校有权保存并向国家有关部门或机构送交论文的复印件和电子版，允许学位论

4、文被查阅（除在保密期内的保密论文外）；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。本人电子文档的内容和纸质论文的内容相一致。本学位论文属于：在_____年解密后适用本授权书。良同意在校园网上发布，供校内师生和与学校有共享协议的单位浏览；同意将本人学位论文提交中国学术期刊(光盘版)电子杂志社全文出版和编入CNKI《中国知识资源总库》，传播学位论文的全部或部分内容。(请在以上相应方框内打“V”）电子邮箱:摘要随着城市轨道交通线路规模的增长，建立城轨线网数据中心的需求日益凸

5、显，因此城轨线网数据中心面临存储海量文件的需求。城轨线网的文件数据包括大文件和小文件，目前，大文件存储技术已有成熟的技术和系统，然而，由于元数据管理低效、I/O访问流程复杂和数据布局单一等原因，小文件的高效存储问题尚未得到很好的解决。目前，Facebook等互联网公司各自开发了面向特定应用场景的海量小文件存储系统。然而，这些系统与城轨线网海量小文件存储系统具有不同的设计需求，难以直接应用于城轨线网海量小文件数据存储。本文根据城轨业务层次性的数据特点和按组顺序读的读取特点，提出基于FastDFS分布式文件系统和Redi

6、s键值数据库的城轨线网海量小文件存储方法，包括小文件聚合存储方法将客户端中具有业务相关性的小文件聚合存储到FastDFS的同一数据文件中；小文件全局索引管理方法将FastDFS返回的文件索引与小文件的局部索引合并建立全局索引，使用Redis的持久化功能存储小文件名与其全局索引的键值对；小文件读取方法预取同一数据文件中往后相邻的多个文件，并且将预取的文件内容写入到客户端缓存中；小文件删除方法通过设置文件记录的状态值，使用惰性删除方法对小文件进行删除；小文件修改方法通过小文件删除方法删除原小文件，直接在数据文件的尾部追加

7、新修改的小文件。通过设计实验对海量小文件存储系统进行了小文件合并写、小文件追加写、小文件读取、小文件删除、小文件修改五个功能进行功能测试，验证了本文提出的面向城轨线网的海量小文件存储方法的可行性。同时，也进行了性能测试，实验结果表明，当预取文件数量为5个和客户端缓存为500MB时，小文件读取吞吐量最高；同时，相较于FastDFS系统，FastDFS-Redis系统的小文件读写吞吐量分别提高了13.26%和10.47%，达到明显改善城轨线网海量小文件的访问效率的目的。关键字：小文件存储；城轨线网；FastDFS；Red

8、is；访问性能IABSTRACTWiththegrowthofurbanrailtransitnetworksystem,thedemandtoestablishurbanrailnetworkdatacenterhasbecomeincreasinglyprominent,sotheurbanrailnetworkdatacen-terfac