基于mongodb的海量大中小文件存储系统的研究与应用

《基于mongodb的海量大中小文件存储系统的研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、＇？－：－，Ｖ心／．‘香：．，＾朦Ｔ嗦香酵＞，雲：３禱Ｃｉ心！今．；０．茜提‘请ｋ；－片ｆ循，／．八？電＇＇、－苗＇－ｖ＼＇’＇Ｘ申国ｗ质式亡学声北成＞Ｅ步，：．ｆ＾一一含ｉ巧立；頭一学右推含夕Ｃ／；：？．占＇．，＂道！Ｊ４：＞－．資礙．續吞’讀臂＾義＃．ｒ；賽、吗’＇：＼．子－／巧于Ｍｔｏｎ沁Ｂ的说量大中小女‘４接」：５７ｉＶ存子储辕充ｎ則研＾与５Ｓ．．备．Ｎ．１ｒ．／ｖＶ－．义＇＂Ｘ．－ｔ；ｉ７ｒ於達六，／＇－聲巧诗接龜＾．Ｖ野马担；＇：－．－．，５．鲁皆／＂＇单：：．ｙ早巧ｆ；：占＞学

2、八綱觀１护仁Ｖ／．＼蒙‘．Ｖ卢＞ｒ，心周ｒ；Ｗ；／讀Ｖ＞￣／‘－；．Ｘ義心计算膽学技术巧聲／＞：／开勢向计龍顏喊长；．．新．．ｒ尹－，．．．，’－．－＇．障导耐王群諸．淆＂．；叫－潑；’＾巧、ｒ八、，ｉ卢．／捉；％＇．妾：．梦Ｔ３苗襄古遂如６寶ｖ古＇．＇－；打遠＂：如麵，、辕７ｉ足＾ｘ电一’—黎違蒙，声明本人声明所呈交的论文是我个人在导师指导下进行的研究论工作及取＃的研文中不包含其他究成果。尽我所知，除了文中特别也加不包标注和致谢的地方外，人邑经发表或撰写过的研究成果，含

3、为获得中国地质大学或其它教育机构已一同工作的同志对本研究所做的任何贡献均的学位或证书而使用过的材料表。与示我在论文中作了明确的说明并了签谢意。名：间乂日期；威人Ｓ关于论文使用、授权的说明保本人完全了解中国地质大学有关保留使用学位论文的规定，目Ｐ；学校有权分留送交论文的复印件，、允许论文被查阅和借阅；学校可Ｗ公布论文的全部或部内口容，可采用影印缩印或其他复制手段保存论文。＾开□保密（＿＿年）（保密的论文在解密后应遵守此规定）言２写房人导师签签名：＿名：日期：滅以—分类号密级中国地质大学（北京）硕士学位论文基于Mongo

4、DB的海量大中小文件存储系统的研究与应用学号：2004130021研究生：周兴专业：计算机科学与技术研究方向：计算机应用技术指导教师：王群教授2016年5月ADissertationSubmittedtoChinaUniversityofGeosciencesforMasterDegreeResearchandApplicationinStorageSystemoftheMassiveMediumandSmallFileBasedonMongoDBMasterCandidate:ZhouXingMajor:ComputerScienceandTechnologyStu

5、dyOrientation:ComputerApplicationTechnologyDissertationSupervisor:Prof.WangQunChinaUniversityofGeosciences(Beijing)摘要随着互联网的日益发展和社交网络的日益盛行，异构网络数据不断增加。海量小文件的存储优化已经成为了当今海量数据存储技术的一个重要研究方向。对于HDFS、TFS等分布式文件系统，在处理海量小文件时不具有一般性。然而，随着NoSQL技术的逐渐成熟，它具有的分布式系统的优势、简单灵活的特点，也使它成为了解决海量小文件存储的可能。子午工程数据中心负责

6、处理来自全国各地探测设备所产生的空间科学数据文件，随着空间探测数据的不断增加，截至2015年底，子午工程数据中心累计汇集科学数据980.18万个，文件总大小约3.45TB，而且其中90%是100k以下的小文件，其余的是少量中大文件。目前子午工程采用传统分布式文件系统来存储科学数据，在处理众多小文件时，会导致磁盘I/O过高，数据备份时间过长，数据存储效率较低。针对子午工程数据文件特点，充分分析了当今主流海量数据存储方案的优缺点，在MongoDB的基础上，本文提出了一种ZW-Mongo存储模型。该存储模型主要包括三方面设计：（1）利用MongoDB的BSON数据结构特性，

7、直接处理小文件存储，提高小文件存储效率；（2）针对大文件分块存储，并构建元信息集合和块数据集合；（3）采用历史版本和软删除的方式，提高文件利用率。ZW-Mongo存储模型提高了小文件的存储和访问效率，有效地降低了文件的管理成本。通过分析MongoDB数据均衡策略的缺点，本文提出了基于一致性哈希的数据均衡策略，并构建了基于一致性哈希算法的文件存储过程。本文基于ZW-Mongo存储模型，设计并研发了一套REST风格的数据访问接口，同时实现了数据均衡算法的访问接口，便于数据节点的添加和移除。最后，通过ZW-Mongo存储模型数据接口与传统分布式文件系统对比