面向云计算的海量数据检索技术分析与应用

《面向云计算的海量数据检索技术分析与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。作者签名：日期：年月日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以

2、采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）作者签名：导师签名：日期：年月日万方数据摘要摘要近十多年来，互联网产业迅猛发展日新月异，不仅让投资互联网的风险投资者们盈利颇丰，也成就了一批市值百亿美元的大型互联网企业。互联网产业给新兴经济实体带来非常强劲的发展动力。全球数亿的网民、企业、事业及政府部门单位正通过互联网中得到更多的资讯、数据交换、消费和业务的推广和应用。这是一个庞大而且有层次的用户群体。云计算正是互联网产业中一面新兴的旗帜。它结合了互联网络的优势，把大量的企业应用，个人服务等应用通过服务的方式基于互联网提供了广大的

3、用户，比如桌面云、云存储等。面向云计算的应用与服务将是二十一世纪中最有价值、最有前景的技术。本文以云计算为基础，重点研究分布式数据存储下非结构化数据检索技术，并采用该技术设计一套面向广电行业的新闻线索汇聚平台的Sass服务。云平台采用了Hadoop作为其分布式数据存储平台，并构建集群的基础环境。采用hbase作为分布式面向列的非结构化数据库，作为检索引擎。研究过程中，注重实用性和科学性并重的原则。1.分析Hadoop的分布式数据存储架构，采用该架构构建检索的基础分布式技术平台。2.研究MapReduce作业机制，采用该机制使用hbase基于列的分布式数据库进行设计，构

4、建一个非结构化的检索引擎。3.基于以上技术平台设计并搭建一套新闻线索汇聚业务平台。系统按照云服务的架构设计，支撑海量的新闻线索，并提供快的检索、分类聚类的业务功能。关键词：云计算，分布式存储，hadoop，hbaseI万方数据ABSTRACTABSTRACTInthepasttenyears，manycompanyhavegothugeachievementsowingtotherapiddevelopmentoftheInternetindustry.MillionsofInternetusers,enterprises,institutionsandgovernm

5、entdepartmentsgetmoreinformationviatheInternetaroundtheworld.Thesehavemadeupofahugelevelusergroups.CloudcomputingistheemergingbannerofInternetindustryside.Itprovidesthemajorityofuserswithalargenumberofenterpriseapplicationsandpersonalservice,suchasDesktopCloud,CloudStorage.Applicationsa

6、ndservicesforCloudComputingwillbethemostvaluabletechnologyinthetwenty-firstcentury.Inthispaper,IstudyunstructureddataretrievaltechnologybasedthecloudcomputinganddesignakindofSassserviceforcluesaggregationplatformonnews.TheseSassserviceswillbeusedtohelptheradioandtelevisionindustry.OurCl

7、oudPlatformusehadoopasadistributeddatastorageplatformandbuildthebasicenvironmentofthecluster.Thehbasewhichisusedasthesearchengineisourdistributedcolumn-orientedunstructureddatabase.Thecontentsofmypaperinclude:1.Hadoop'sdistributeddatastoragearchitecture,whichbuildafoundationfor