基于mapreduce的多主页服务框架研究与实现

《基于mapreduce的多主页服务框架研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于MapReduce的多主页服务框架研究与实现RESEARCHANDIMPLEMENTOFMULTI-MAINPAGESERVICEFRAMEWORKBASEDONMAPREDUCE董德彪哈尔滨工业大学2013年6月国内图书分类号：TP315学校代码：10213国际图书分类号：681.3密级：公开硕士学位论文基于MapReduce的多主页服务框架研究与实现硕士研究生：董德彪导师：邓胜春教授申请学位：工学硕士学科：计算机科学与技术所在单位：计算机科学与技术学院答辩日期：2013年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP

2、315U.D.C:681.3DissertationfortheMasterDegreeRESEARCHANDIMPLEMENTOFMULTI-MAINPAGESERVICEFRAMEWORKBASEDONMAPREDUCECandidate：DongDebiaoSupervisor：Prof.DengShengchunAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：ComputerScienceandTechnologyAffiliation：SchoolofComputerScienceand

3、TechnologyDateofDefence：June,2013Degree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学工学硕士学位论文摘要随着互联网技术的飞速发展以及云存储技术的不断完善，大规模数据的处理机制也发生了巨大的变化。面对在互联网应用中每天产生的大规模数据，本中心提出了面向双边资源整合服务模式（BIRIS），并引入了第四方服务平台—BIRIS-Cloud。本文基于此平台，提出了一种多主页服务框架，该框架基于Hadoop框架的MapReduce编程模型，面对BIRIS-Clo

4、ud平台下的若干个服务中心提供服务。在此框架的支持下，该系统支持对来自不同的服务中心的大规模数据进行组织、存储以及访问，为服务中心的用户提供了更好的服务。通过阅读大量文献，对大规模数据的组织进行了研究。该平台采用开源框架Hadoop下的HDFS作为大规模数据的存储系统。并在此存储系统的基础上，对存储在其中的大规模数据完成索引的建立，把索引文件也存储在各个节点上，可以实现对于索引的并发查找。通过结合多主页服务框架以及存储的大规模数据的特点，本文对系统的需求进行了分析。多主页服务框架旨在为不同的服务中心提供主页服务，通过对主页框架下的主页模型进行定义，以及解析的

5、形式使多主页服务框架的作用得到更好的呈现，用户通过订阅主页模型的形式来使这种服务形式得到最终实现。对大规模非结构化数据在进行存储时采取的机制也进行了研究，并提出了相应的策略，使不同的存储个体的大规模的数据的存储需求都能得到较好的满足。大规模数据如何进行访问一直是研究的热点。针对数据在HDFS上的存储形式，本系统采用倒排索引的机制来实现对所需的数据建立索引，并在倒排索引的基础上完成二级索引的建立，最终实现在大规模数据中对所需数据的定位。最后完成了多主页服务框架的搭建，并在此框架的基础上，实现了对大规模数据的有效管理，把所研究的理论以及关键技术应用到此框架及大规

6、模数据的管理下。框架搭建完成后，利用框架上聚集的主页模型来为不同的服务中心提供服务，并在此基础上不断完善服务机制，使框架的运行更趋完善，也使框架的使用价值得到很好地体现。关键词：多主页服务框架；主页模型；MapReduce；大规模数据；索引-I-哈尔滨工业大学工学硕士学位论文AbstractWiththerapiddevelopmentofInternettechnologyandthecontinuousimprovementoftheCloudstoragetechnology,large-scaledataprocessingmechanismhasu

7、ndergonetremendouschanges.Withthefaceoflarge-scaledatageneratedeverydaybytheInternetapplications,weproposeanewservicemodelnamedBIRIS(BIlateralResourceIntegrationService,BIRIS),andwealsointroduceafourthpartyserviceplatform—BIRIS-Cloud.Basedonthisplatform,weproposeamulti-mainpageserv

8、iceframework.Theframeworki