基于Elasticsearch的新闻实时词云系统设计与实现

《基于Elasticsearch的新闻实时词云系统设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M201476099学校代码10487密级硕士学位论文基于Elasticsearch的新闻实时词云系统设计与实现学位申请人：刘召明学科专业：软件工程指导教师：李自力教授答辩日期：2016.12.16AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreefortheMasterofEngineeringDesignandImplementationofNewsReal-TimeWordsCloudSystemBasedonE

2、lasticsearchCandidate:LiuZhaomingMajor:SoftwareEngineeringSupervisor:Prof.LiZiliHuazhongUniversityofScience&TechnologyWuhan430074,P.R.ChinaDecember,2016独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人

3、和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：

4、日期：年月日日期：年月日华中科技大学硕士学位论文摘要在现今信息技术极速发展的背景下，全世界每天将产生数以千万的新闻数据，如何对这些新闻数据进行精准的快速查找，如何找出这些数据中的热点新闻，采用传统的查找方式已经不合适。对于企业而言，新闻数据背后隐藏着很大的价值，如何合理的利用这些新闻数据，已成为现在研究的热点。通过对大量新闻数据的分析，基于新闻数据自身所具有的特点，本系统选择合适的关键词提取算法对新闻数据提取热点，选择当前最为流行的Elasticsearch全文搜索引擎提供ms级的搜索服务，并且设计出高吞吐

5、、高可用和高性能的框架处理海量数据，最终设计并实现了新闻实时词云系统。该系统通过对新闻数据的关键词提取，生成易于观测的热词词云，同时向用户提供新闻搜索的功能。此系统的实现分为三部分：数据采集分析器、数据存储管理和词云展示与搜索。数据采集分析器实现对新闻数据的采集、关键词的分析提取，其中采用Ansj算法进行关键词的提取；数据存储管理部分以ElasticSearch为存储核心，提供新闻数据存储功能和高效的全文搜索功能；词云展示与搜索管理为用户提供新闻热词的词云展示，以及搜索新闻的功能。本系统通过Ansj算法对新

6、闻数据进行关键词的精确提取，使本系统提供的数据具有较高的准确性；通过以ElasticSearch搜索引擎为核心的存储介质，使本系统具有很高的稳定性和性能。系统对公司内的新闻进行分析，为用户提供直观的词云页面，同时提供高性能的新闻搜索功能，使用户能快速了解当前新闻的热点，快速搜索相关的新闻。通过结合多种新技术，设计出高可用的框架，使本系统能解决企业的实际问题，是本课题研究的重要意义所在。关键词：新闻词云搜索分析I华中科技大学硕士学位论文AbstractIntoday'sinformationtechnolog

7、yinthecontextoftherapiddevelopmentoftheworldeverydaywillproducetensofmillionsofnewsdata,howthesenewsdataaccuratefastsearch,howtofindthehotnewsinthesedata,usingthetraditionalsearchmethodhasbeenInappropriate.Forenterprises,newsdatahiddenbehindagreatvalue,how

8、torationaluseofthesenewsdata,hasbecomeahotresearch.Basedontheanalysisofalargenumberofnewsdataandthecharacteristicsofthenewsdata,thesystemselectstheappropriatekeywordextractionalgorithmtoextractthehotnewsdata,