舆情数据的多文档自动摘要系统的研究与实现

《舆情数据的多文档自动摘要系统的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：单位代码１１４０：０密级：公开学号：４０３１５４１９５１．？ＬＩＡＯＮＩＮＧＵＮＩＶＥＲＳＩＴＹ专业学位论文ＴＨＥＳＩＳＦＯＲＰＲＯＦＥＳＳＩＯＮＡＬＭＡＳＴＥＲＤＥＧＲＥＥ中文题目：舆情数据的多文档自动摘要系统的研究与实现ａ－ＲｅｓｅａｒｃｈａｎｄＩｍｐｌｅｍｅｎｔｔｉｏｎｏｆＭｕｌｔｉｄｏｃｕｍｅｎｔ＾英文题目：ＡｕｔｏｍａｔｉｃＳｕｍｍａｒｙＳｙｓｔｅｍｏｆＰｕｂｌｉｃＯｐｉｎｉｏｎＤａｔａ论文作者：韩晓冬指导教师：李Ｂ晓光教授专业：软

2、件工程完成时间一：二○八年五月擎辽宁大学硕士专业学位论文舆情数据的多文档自动摘要系统的研究与实现ResearchandImplementationofMulti-documentAutomaticSummarySystemofPublicOpinionData作者：韩晓冬指导教师：李晓光教授专业：软件工程专业方向：数据库技术答辩日期：2018年5月二○一八年五月·中国摘要摘要在信息量爆炸的今天，人们想要依靠互联网来获取自己感兴趣的信息已经越来越难，即使在同一个主题下，也有着非常多的信息冗余，而舆情数据更是如此，

3、在同一个主题下的新闻，有许多都是完全一样的信息，而想要从这些舆情文本中获取同一主题下的不同信息就变得越来越耗费时间、精力。多文档自动摘要技术可以很好的解决这一问题。通过多文档自动摘要技术，可以将重复信息去除，并将与主题相关的不同信息提取出来，生成摘要文本，节省用户挖掘感兴趣的信息的时间。本系统在研究了多文档自动摘要相关工作的基础上，提出一种利用基于语义词典的聚类方法来获取多文档自动摘要文本的方法。基于语义词典的方法的优势在于可以对中文语料中的词语深入到语义层面来分析处理。本系统主要内容包括：1、基于语义词典的新词相似度计算

4、。由于在舆情领域中，常会出现新词，这些新词通常与主题相关，在一定程度上可以视为主题。但新词无法进行相似度计算，针对这一问题，本文提出一种基于语义词典的新词相似度计算方式，该方式通过解析新词构成，将新词与语义词典中的词语对应起来，利用语义词典中的词语代替新词进行相似度的计算。2、词语聚类分析与句子聚类分析。以词语作为特征项对句子建立空间向量，没有考虑到词语之间的词义关系，在量化句子时，不能准确的根据词语来量化句子，后续的句子聚类结果的准确度就无法保证。针对于此，本文先对词语聚类，将相似的词语聚类成词语概念，以词语概念作为句子

5、特征向量的特征项，避免词语之间的关系对句子聚类的影响。对句子进行聚类分析阶段，利用词语概念作为句子特征向量的特征项，同时利用句子之间的余弦相似度，利用基于密度的聚类算法DBSCAN对句子进行聚类，形成句子簇。3、基于重要度评分的摘要句的抽取。根据句子所属主题、次主题、页面结构等因素，基于句子聚类结果，提出一种重要度评分方法。按照评分高低I摘要对句子簇排序，再对句子簇内部的句子进行重要度评分，选取每个句子簇中评分最高的句子作为摘要句，按照句子簇的顺序形成最终的多文档自动摘要文本。通过上述方法开发的基于舆情数据的多文档自动摘要

6、系统，经过测试，基本可以满足用户对同一主题下不同信息进行提取。关键词：多文档自动摘要，新词发现，聚类分析，重要度评分，相似度计算IIAbstractAbstractIntheinformationexplosiontoday,peoplewanttorelyontheInternettoaccesstheirinformationofinteresthasbecomemoreandmoredifficult,eveninthesametheme,alsohasalotofinformationredundancy,ande

7、venmoreso,publicopiniondataunderthesamethemeofnews,therearemanyareexactlythesameinformation,andwanttogetoutofthesepublicopiniontextunderthesamethemeofdifferentinformationbecomesmoreandmoretimeconsumingandenergy.Multi-documentautomaticsummarizationtechnologycansolv

8、ethisproblemwell.Throughmulti-documentsummarizationtechnology,canremoverepetitiveinformation,andtopickupthedifferentinformationonthesubject,andgeneratet