一种分布式对象存储系统的设计与实现

《一种分布式对象存储系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中文图书分类号：TP391密级：公开UDC：004学校代码：10005硕士专业学位论文PROFESSIONALMASTERDISSERTATION论文题目：一种分布式对象存储系统的设计与实现论文作者：蔺欣专业类别/领域：计算机技术指导教师：邓米克副教授论文提交日期:2017年5月UDC：004学校代码：10005中文图书分类号：TP391学号：S201407145密级：公开北京工业大学硕士专业学位论文（全日制）题目：一种分布式对象存储系统的设计与实现英文题目：ADESIGNANDIMPLEMENTATIONOFDISTRIBUTED

2、OBJECTSTORAGESYSTEM论文作者：蔺欣专业类别/领域：计算机技术研究方向：计算机应用技术申请学位：工程硕士专业学位指导教师：邓米克副教授所在单位：信息学部答辩日期：2017年5月授予学位单位：北京工业大学独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意

3、。签名：蔺欣日期：2017年5月20日关于论文使用授权的说明本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。（保密的论文在解密后应遵守此规定）签名：蔺欣日期：2017年5月20日导师签名：邓米克日期：2017年5月20日摘要摘要近年来互联网发展迅猛、电子商务和社交网络兴盛繁荣使企业和个人产生的数据量爆炸式增长，尤其是像图片、邮件这类的小文件数量也呈指数级增长。大型社交网络如Facebook、QQ，

4、大型电商平台如淘宝、京东，对图片等小文件有极大的依赖，这些网站后台存储的小文件数量规模都达到了千亿级别，传统的存储技术已经无法适应大数据时代海量小文件的存储需求，针对海量小文件的存储及管理技术越来越受到关注。本文设计和实现了一种基于对象存储的分布式文件系统。主要应对海量小文件存储与访问存在的如元数据访问效率低、主服务器性能受限、磁盘I/O效率低、磁盘空间利用率低等一系列瓶颈问题，本系统运用对象存储的方法，将小文件合并成大对象文件来实现存储管理。在系统的内存中为对象文件建立相应的元数据索引，使得我们对海量小文件的存储管理访问更加灵活，

5、也降低了元数据的负载。论文的主要工作以及创新点如下：1.设计了一个应对海量小文件存储的分布式系统解决方案。根据对现有分布式文件系统解决方案进行调研后，采用基于对象存储的思想，将各类非结构化数据文件抽象为对象统一存储，系统采用HA(HighAvailable)和Master/Slave架构混合搭建，充分发挥分布式系统的高可用和高性能。2.优化系统中元数据的存储和管理。通过将大量的小文件合并成一个大文件对象，为每个对象文件的元数据建立外部索引，这样一来大大减轻了元数据管理的负担。且读取文件操作只需一次磁盘访问即可，提升了小文件的访问速度

6、，同时减少了读写IO次数的开销。3.解决长尾需求性能低的问题。数据分热数据和冷数据，热数据的访问只能靠缓存解决，本系统无缓存而是直接从磁盘读，解决了冷数据的访问。4.实现了系统的主控模块、数据服务器等功能模块，引用Zookeeper构建分布式系统的协调机制。采用较为底层的C语言进行系统开发，对典型场景可能出现的错误与异常提出了相应的解决方案提高系统的容错能力。最后对系统各个功能模块进行功能测试、对系统的在不同模式下的读写性能和同步性能进行了测试，并针对测试结果提出优化意见。关键词：分布式存储；对象存储；对象存储系统；小文件IAbst

7、ractAbstractInrecentyears,therapiddevelopmentoftheInternet,e-commerceandsocialnetworkingareas,sothatenterprisesandindividualsgeneratedexplosivegrowthintheamountofdata,especiallysmallfiles.Large-scalesocialnetworkssuchasFacebook,QQ,andpowerplatformsuchasTaobao,Jingdong,

8、haveagreatdependenceonsmallfilessuchaspictures,thesesitesbackstagestorageofsmallfileshavereachedthescaleofhundredsofb