基于mongodb的数据存储与查询优化技术研究

《基于mongodb的数据存储与查询优化技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、：１１ｔＶｎ’：：，．．＇．．记，■Ｉ＇？．，，‘：单位代码：歷３密级公开；，，＊■叶—＂硕女《健化Ａ，寺Ｊ命音Ｗ论文题目：基于ＭｏｎｇｏＤＢ的数据存储与杳询优化技术研究；：ＩＩＩ１０１３０４１２０５学号姓名沈苏彬研究员导师计算机应用技术学科专业算机网络硏究方向计工学硕主申请学位类别二一六年四．月零论文提交日期南京邮电大学学位论文原创性声明本人声明所呈

2、交的学位论文是我个人在导师指导下进行的研究工作及取得的研巧成果。尽我所知，除了文中特别加标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。一切相关的法律责任本人学位论文及涉及相关资料若有不实，愿意承担。Ｗ／．先口／研究生签名：＾日期：南京邮电大学学位论文使用授权声明本人授权南京邮电大学可保留并向国家有关部口或机构送交论文的复印件和电子文档；采允许论文被查阅和借飼；

3、可Ｗ将学位论文的全部或部分内容编入有关数据库进行检索；可１＾用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质论文一的内容相致。论文的公布（包括刊登）授权南京邮电大学研巧生院办理。涉密学位论文在解密后适用本授权书。研究生签名；ｔ－导师签名通Ｎ日期；１分Ｌ中Ｉ。＾／ResearchonTechniquesofOptimizingDataStorageandQueryBasedonMongoDBThesisSubmittedtoNanjingUniversityofPostsandTelecommunicat

4、ionsfortheDegreeofMasterofEngineeringByQILanSupervisor:Prof.SHENSu-binApril2016摘要随着互联网数据量呈现爆炸性增长，海量数据的存储和查询给数据中心带来了极大的挑战。MongoDB作为一种新型的非关系数据库，其灵活的数据存储格式和高查询性能使其得到广泛应用，但是MongoDB的存储空间消耗较大，并且没有重复数据的检测和删除机制，有可能浪费大量的存储空间，降低数据库存储系统的性能。重复数据检测是通过比较数据指纹，判断数据之间是否存在重复；在基于MongoDB实现海量数据的重复数据检测

5、和删除技术时，数据指纹的查询可能成为性能瓶颈。对于海量数据的重复数据检测场景，分析了树型和哈希两类主要的数据指纹查询算法的特点，并对哈希算法中的一种高性能查询算法布隆过滤器进行了研究；针对已有布隆过滤器扩展性差的问题，提出一种增长型布隆过滤器查询算法，并应用于海量数据的重复数据检测技术中。对MongoDB现有的文件存储系统GridFS的存储机制进行改进，增加数据块指纹映射表，使用增长型布隆过滤器快速判断数据块指纹是否存在，实现数据块的重复文件删除技术。实验结果表明，MongoDB使用改进后的增长型布隆过滤器查询数据指纹，其文件系统重复数据检测和删除技术具有

6、更好的扩展性，与原有的布隆过滤器相比，查询时间性能有所提高。关键词:MongoDB，重复数据检测，查询，布隆过滤器IAbstractWiththeexplosivegrowthofInternetdata,massivedatastorageandquerytothedatacenterhasbroughtgreatchallenges.Asanoveltypeofnon-relationaldatabase,MongoDBiswidelyusedbytheadvantagesoftheflexibledatastorageformatandhighque

7、ryperformance.However,MongoDBlacksofdatadetectionanddeduplicationmechanism,resultinginstoragespaceconsumption.Sincetheredundantdataincreases,considerablestoragespacehasbeenwasted.Meanwhile,theperformanceofthedatabasestoragesystemcomesdown.Forcopingwiththeissueofduplicatedatadetect

8、ion,datafingerprintcanbeusedasthe