基于swift的海量小文件对象存储研究

《基于swift的海量小文件对象存储研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于Swift的海量小文件对象存储研究RESEARCHONOBJECTSTORAGEOFMASSIVESMALLFILESBASEDONSWIFT彭暄哈尔滨工业大学2016年6月国内图书分类号：TP315学校代码：10213国际图书分类号：621.3密级：公开工学硕士学位论文基于Swift的海量小文件对象存储研究硕士研究生：彭暄导师：张廷斌教授申请学位：工学硕士学科：计算机科学与技术所在单位：计算机科学与技术学院答辩日期：2016年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP315U.D.C:621.3Dissertationfort

2、heMasterDegreeinEngineeringRESEARCHONOBJECTSTORAGEOFMASSIVESMALLFILESBASEDONSWIFTCandidate：PengXuanSupervisor：ProfessorZhangTingBingAcademicDegreeAppliedfor：MasterofEngineeringSpecialty：ComputerScienceandTechnologyAffiliation：SchoolofComputerScienceandTechnologyDateofDefence：June,2016Deg

3、ree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学工学硕士学位论文摘要随着互联网快速发展，数据呈爆炸式增长，在当前众多互联网应用场景中80%为小文件。相对于大文件，海量小文件的存取给文件系统带来巨大的压力，因此其存储效率成为云存储行业关注的重点问题。目前大多数分布式存储系统在网络通信、元数据访问、数据布局等方面侧重于大文件，对海量小文件的IOPS性能影响较大。而对象存储作为一种新型分布式存储架构被工业界普遍使用，其中Swift作为对象存储的实现范例在数据存取速度上有明显优势，为提高海量小文件的存储性

4、能提供了新的可能。本文基于Swift对象存储架构对海量小文件的存取机制的优化进行研究。首先，为了提升海量小文件在存储时的写入性能，提出一种基于文件写入请求的时序特性的数据聚合存储策略；同时，建立分布式二级索引机制，解决代理节点的元数据管理的性能瓶颈。通过大量的仿真实验表明，相对原始系统的存储机制，本存储优化机制采用数据聚合分级索引策略，数据写入的响应时间更短，索引维护代价更低。其次，针对二级索引机制的引入带来小文件读取响应时间增长的不利影响，本文首先提出了一种结合历史关联性与语义关联性的对象关联性评估模型。然后借助于对象关联性评估数据进行对象预测分析，通过建立预取策略来

5、减少小文件读取的响应时间。其次为提高预测的准确度，本模型提出回归分析的校正方法，首先通过HP公司真实日志数据对预测结果进行校对，其次修正结果反馈优化评估模型的权重分配，然后进一步拟合数据时序，实验结果表明，相比于传统，本模型提高了数据在访问时的效率。最后，本文通过完成整合数据聚合策略与对象预取策略的验证系统的设计与实现来验证本文提出的机制，实验表明，本文提出的加入预取策略的模型能有效提升海量小文件的存取效率。关键词：云存储；海量小文件；对象存储；Swift；-I-哈尔滨工业大学工学硕士学位论文AbstractWiththerapiddevelopmentofIntern

6、etandexplosivegrowthofdata,smallfilesoccupy80%oftotaldataamongthenumerousscenariosofInternetapplication.Theaccessofmassivesmallfilesbringshugepressuretofilesystemrelativetobigfiles.Consequently,thestorageefficiencyofmassivesmallfilesbecomesakeyissueincloudstorageindustry.Atpresent,mostdi

7、stributedstoragesystemsemphasizeonbigfilesinnetworkcommunication,metadataaccessanddatalayout,whichhasagreatinfluenceontheIOPSperformanceofsmallfiles.Asanewtypeofdistributedstorageframework,theobject-basedstorageiswidelyusedintheindustrialcircles,withinwhichSwift,asarealiz