海量小文件存储文件系统研究综述

《海量小文件存储文件系统研究综述》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第29卷第8期计算机应用与软件Vol.29No．82012年8月ComputerApplicationsandSoftwareAug．2012海量小文件存储文件系统研究综述王铃惠李小勇张轶彬(上海交通大学信息安全工程学院上海201203)摘要随着互联网的发展，存储的小文件数量也呈几何级的增长。传统文件系统已不能满足存储性能的需求，对于小文件存储，尤其是海量小文件存储的优化已变得越来越重要。首先提出对小文件存储的系统进行优化的必要性，然后对小文件存储中存在的问题进行分析并阐述优化的方式，并介绍三种具有代表性的适合小

2、文件存储的文件系统，最后总结归纳。关键词小文件海量存储元数据操作磁盘访问效率C-FFSReiserFSFacebook中图分类号TP393文献标识码AMASSSMALL-FILESTORAGEFILESYSTEMRESEARCHOVERVIEWWangLinghuiLiXiaoyongZhangYibin(SchoolofInformationSecurityEngineering，ShanghaiJiaoTongUniversity，Shanghai201203，China)AbstractWiththedev

3、elopmentofInternet，thesmallfilestoragesizeshowsageometricgrowthtoo．Thereforetraditionalfilesystemsnolongermeettherequirementsforstorageperformance．Forsmallfilestorage，especiallymasssmall-filestorage，optimizationisbecomingmoreandmoreimportant．Thepaperfirstofal

4、lexplainsthenecessityforsmallfilestoragesystemoptimization;thenanalyzesproblemsexistinginpresentsmallfilestorageandexpoundsoptimizationapproaches．Afterwarditintroducesthreerepresentativefilesystemsforsmallfilestorage．Intheendthereisasummary．KeywordsSmallfileM

5、assstorageMetadataoperationsDiskaccessefficiencyC-FFSReiserFSFacebook无论是读文件还写文件，都存在元数据的操作。以文件写0引言操作为例，如下是经典的传统UNIX文件系统ext2在按照一致性的要求下创建一个新的文件时需要进行的操作流程，如图1在互联网飞速发展的今天，当越来越多的信息被数据化，社所示。会各方面都需要大量数据密集型的应用。图片、邮件、电子书、［1］互联网档案等小文件数据亦呈几何级增长，一个大型的社交［2］网络，仅每周提供的图片信息就多达

6、60TB。文献［3］指出大多数UNIX系统中的文件小于32K，Windows系统中的文件小于64K。虽然摩尔定律依然有效，可将这些文件存入更大的硬盘，但按照传统方式将小文件存入磁盘效率低，而且随着多核技术的应用，尤其在服务器端的广泛应用，磁盘I/O速度与处理器速度之间的落差越来越大。在服务器端，产生大量磁盘操作成了经常性的事件，磁盘访问效率是海量小文件存储中的关键问题，如何对海量小文件进行安全有效的存储管理，已是存储领域必图1EXT2创建文件时的操作流程须面对的一个重要课题。由该流程可知，向磁盘中写数据需进行大量

7、的元数据操作。该流程图显示，写数据块还需先更新inode位图、目录文件、in-1海量小文件存储中存在的问题ode、数据块位图四个磁盘位置。再定义效数据读写率pd，其中所需数据条带化技术对于小文件的处理已无意义，通常，小文件被随pd=(0＜pd＜1)，其中实际磁盘读写数据实际磁盘读写数据机写入磁盘。而且海量小文件产生的元数据亦是不容小觑。为磁盘元数据与所需数据之和。当操作连续的大文件时，对元数据传输时间在此定义有效工作时间比pt，其中pt=数据的操作开销可被庞大的数据操作开销分摊，但小文件的有磁盘I/O服务时间(0

8、＜pt＜1)，由于磁盘的结构特点可知，磁盘I/O的服务时间由收稿日期:2011－10－10。上海市科学技术委员会基金项目(10DZ寻道时间、旋转延迟、控制延迟以及数据传输时间组成。由此可1500200)。王铃惠，硕士生，主研领域:海量存储与安全。李小勇，副教知随机读写单个文件的pt小于连续读写多个文件的。授。张轶彬，硕士生。第8期王铃惠等:海量小文件存储文件系统研究综述1