非结构化文档数据一体化存储检索技术研究

《非结构化文档数据一体化存储检索技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文非结构化文档数据一体化存储检索技术研究RESEARCHONTHEINTEGRATIONOFUNSTRUCTUREDDOCUMENTDATASTORAGEANDRETRIEVALTECHNIQUE杜忠晖哈尔滨工业大学2015年6月国内图书分类号：TP393学校代码：10213国际图书分类号：004.9密级：公开工学硕士学位论文非结构化文档数据一体化存储检索技术研究硕士研究生：杜忠晖导师：何慧副教授申请学位：工学硕士学科：计算机科学与技术所在单位：计算机科学与技术学院答辩日期：2015年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP393U.D.C:004.9D

2、issertationfortheDoctoralDegreeinEngineeringRESEARCHONTHEINTEGRATIONOFUNSTRUCTUREDDOCUMENTDATASTORAGEANDRETRIEVALTECHNIQUECandidate：DuZhonghuiSupervisor：AssociateProf.HeHuiAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：ComputerscienceandTechnologyAffiliation：SchoolofComputerScienceandTechno

3、logyDateofDefence：June,2015Degree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学工学硕士学位论文摘要随着互联网及大数据时代的到来，新数据的产生速度几乎在以指数级的形势增长，而这大量的数据当中，又以格式不确定的非结构化数据为主。文档数据作为非结构化数据的重要组成部分，已有的关系型数据库工具及技术对其则很难驾驭，必须寻找新的方法与技术应对非结构化文档数据的存储与检索。首先，通过理论分析与实验对比，确定了Hadoop结合ElasticSearch的架构，前者用以解决非结构化文档数据的可靠性存储，后

4、者主要用以解决数据的实时检索问题。接下来，在非结构化文档数据存储技术改进方面，针对Hadoop分布式文件系统针对大量小文件存储的缺陷，提出了基于数据块平衡的小文件合并算法，降低了系统负载，提高了系统处理效率；由于Hadoop不能提供实时检索服务，必须将数据进行同构化处理，在ElasticSearch中进行索引供检索使用。为此提出支持插件化方便横向扩展的非结构化文档数据同构化技术，利用Hadoop的并行计算框架MapReduce进行数据同构化处理；在非结构化文档数据检索优化技术方面，利用ElasticSearch特有的过滤器机制结合互联网身份信息数据特点，提出了基于过滤器的检索过程优化方法，大

5、幅度提高部分数据的检索效率；另一方面，结合系统参数以及应用参数等调优，进一步优化了整体数据检索的性能。在存储与检索的诸多优化改进研究之后，都配有详尽的对比测试实验及结果分析，证实了方法的有效性。最后，结合已改进优化的相关技术，进一步完善了系统总体架构，在设计并实现了用户交互界面的基础上，完成了整个非结构化文档数据一体化存储检索系统的建立。关键词：非结构化；存储；检索；Hadoop；ElasticSearch-I-哈尔滨工业大学工学硕士学位论文AbstractWiththeadventoftheInternetandbigdataera,newdataincreasesalmostexpone

6、ntially,amongwhichunstructureddataaccountsforthemajorproportion.Documentdataisanimportantpartofunstructured,buttheexistingrelationaldatabasetoolsandtechniquesaredifficulttocontrolthem,wemustfindnewwaysandtechniquestostoreandretrieveunstructureddocumentdata.Firstly,bytheoreticalanalysisandexperiment

7、alcomparison,determiningtheHadoop&ElasticSearcharchitecture.Hadoopfocusesonsolvingreliabilitystorageofunstructureddocumentdata,whileElasticSearchismainlyusedtosolvereal-timeretrievalofdata.Next,thereareseve