大数据分类存储及检索方法研究

《大数据分类存储及检索方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大数据分类存储及检索方法研究作者姓名张鹏远导师姓名、职称沈玉龙教授一级学科计算机科学与技术二级学科计算机系统结构申请学位类别工学硕士提交学位论文日期2014年12月代号10701学号1203121583分类号TP39密级公开西安电子科技大学硕士学位论文大数据分类存储及检索方法研究作者姓名：张鹏远一级学科：计算机科学与技术二级学科：系统结构学位类别：工学硕士指导老师姓名、职称：沈玉龙教授提交日期：2014年12月AStudyofClassifiedStorageandretrievalmethodsofBigDataAthesissubmittedtoXIDIANUNIVERS

2、ITYinpartialfulfillmentoftherequirementsforthedegreeofMasterofPhilosophyByZhangPengyuan(ComputerScienceandTechnology)Supervisor:Prof.ShenYulongDecember2014西安电子科技大学学位论文独创性（或创新性）声明秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西

3、安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文若有不实之处，本人承担一切法律责任。本人签名：日期：西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属于西安电子科技大学。学校有权保留送交论文的复印件，允许查阅、借阅论文；学校可以公布论文的全部或部分内容，允许采用影印、缩印或其它复制手段保存论文。同时本人保证，获得学位后结合学位论文研究成果撰写的文章，署名单位为西安电子科技大学。保密的学位

4、论文在年解密后适用本授权书。本人签名：导师签名：日期：日期：摘要摘要物联网，社交网络、电子商务等导致数据规模呈指数级增长。大数据应具有存储效率高、检索速度快的基本要求。数量众多的小文件以及文件类型的多样性使得大数据存储和检索面临着严峻的挑战。针对数据规模巨大，种类繁多，大小不一等特点，在分布式集群思想的基础上，提出一种文件分类存储及检索的管理架构。该架构能够动态扩展存储容量以应对数据的增长需求、基于多标签数据库设计机制，标记数据种类特征加快数据检索效率，实现数据灵活划分。该架构集成了传统磁盘存储，分布式存储，分布式数据库存储等存储方式，能够根据数据大小，类型属性动态选择存储路

5、径，解决了海量小文件在分布式系统中占用过多数据块和内存问题，对于不需要备份的大文件选择传统磁盘存储，避免分布式系统中盲目备份带来的存储空间浪费问题。提出面向列式的“Z”型数据检索方法，支持同种类型数据的批量管理，提高数据层级目录检索效率。基于以上架构和方法，设计和实现了大数据分类存储和检索系统。系统由混合存储子系统，数据分类判断子系统，元数据信息管理子系统，可视化管理子系统组成。实验证明，该系统能够很好满足海量的数据存储和检索需求。关键词：大数据，小文件，分布式，标签，分类论文类型：应用基础研究类IABSTRACTABSTRACTTheInternetofThings,soc

6、ialnetworking,e-commerceandsoonresultinthedatasizegrowsexponentially.Largedatashouldhavethebasicrequirementsofahighstorageefficiencyandretrievalspeed.Alargenumberofsmallfiles,andfiletypediversitymakeslargedatastorageandretrievalisfacingseriouschallenges.Forthedataishuge,widerangeofsizeandot

7、hercharacteristics,basedonadistributedclusterdesign,hereproposesadatamanagementstructureofclassifiedstorageandretrieve.Thearchitectureisabletodynamicallyexpandstoragecapacitytocopewithgrowingdemanddata;Basedonmulti-labeldatabasedesignmechanisms,labeldata