基于hdfs的微博数据管理系统的设计与实现

《基于hdfs的微博数据管理系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、论文题目基于HDFS的微博数据管理系统的设计与实现专业学位类别工程硕士学号201192020269作者姓名夏菁指导教师甘露副教授分类号密级注1UDC学位论文基于HDFS的微博数据管理系统的设计与实现（题名和副题名）夏菁（作者姓名）指导教师甘露副教授电子科技大学成都顾罡辉高工锦州万得机械装备有限公司锦州（姓名、职称、单位名称）申请学位级别硕士专业学位类别工程硕士工程领域名称软件工程提交论文日期201403论文答辩日期201405学位授予单位和日期电子科技大学2014年6月25日答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。DESIGNANDIMPLEMENTATIONOFHD

2、FS-BASEDMICROBLOGDATAMANAGEMENTSYSTEMAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:SoftwareEngineeringAuthor:XiaJingAdvisor:Prof.GanLuSchool:SchoolofElecrtonicEngineering独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得

3、电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。作者签名：日期：年月日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）作者签名：导师签名：日期：年月日摘要摘要随着Web2.0技术的深入发展，微博作为一种新型媒体出现在人们的视野里。微博以其独有

4、的内容短小精悍、传播速度快、影响范围广等特点受到越来越多的人的关注和喜爱，并已经成为互联网的典型应用之一。随着微博的飞速发展，用户对微博信息的获取需求也呈直线上升态势。面对每天海量的微博信息，如何快速、准确地找到自己所需要的微博信息是一个亟待解决的问题。本文在对微博特点进行分析的基础上，结合Hadoop分布式系统框架和Lucene全文检索引擎，设计并实现了一套微博数据管理系统。本文首先对系统进行需求分析。然后，采用模块化设计的方法对系统进行总体设计。详细介绍了微博数据抓取、微博数据预处理、微博数据分布式存储、微博数据倒排索引、微博数据排序以及微博数据检索各个模块的设计与实现。通过系统测试，

5、对系统进行了功能评估。最后，对本文进行了总结并指出了系统存在的不足之处。系统的主要功能是微博数据的抓取、微博预处理、微博存储、微博索引、微博排序和微博检索。为了实现上述功能，本系统采取的关键技术：一是微博Crawler，利用新浪微博开放平台提供的API抓取微博数据；二是分布式存储，微博数据的分布式存储采用HDFS（HadoopDistributedFileSystem，分布式文件系统），HDFS在廉价的机器和大规模数据集上使用更为适合，在数据访问时可提供高吞吐量，为了完成流式访问数据的目的，HDFS对POSIX放宽了约束。HDFS目前为Apache的顶级项目；三是排序算法，参考了PageR

6、ank排序算法的思想，提出了一个微博数据的排序算法。系统利用新浪微博开放平台API抓取微博数据，对系统中的微博数据进行预处理，并采用分布式文件系统HDFS进行存储。采用Lucene全文检索引擎和MapReduce编程模型，利用Lucene提供的索引引擎建立微博数据的倒排索引。针对微博数据的特点，利用Lucene提供的查询引擎，设计并实现了一个微博排序算法，从而大大提高了微博数据的检索效率。在面对海量的微博信息时，用户可以更加快速、准确的找到自己所需的信息。关键词：微博；检索引擎；分布式文件系统；映射化简编程模型；排序IABSTRACTABSTRACTWiththedevelopmentof

7、Web2.0technologies,microbloggingasanewmediumin people'sfieldofvision.Microbloggingitsuniquecontentdapper,spreadfastandwide rangeofcharacteristicsaffectingmoreandmorepeople'sattentionandlove,andhas becomeoneofthet