基于主题句语义融合的多文档摘要算法研究

《基于主题句语义融合的多文档摘要算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于主题句语义融合的多文档摘要算法研究重庆大学硕士学位论文(学术学位)学生姓名：刘子平刘子平指导教师：李学明教授李学明教授专业：计算机软件与理论学科门类：工学重庆大学计算机学院二O一六年四月StudyonMulti-DocumentSummarizationAlgorithmbasedonfusingtopicsentencessemanticAThesisSubmittedtoChongqingUniversityinPartialFulfillmentoftheRequirementfortheMaster’sDegreeofEngineeringByLiuLiuZ

2、ipingZipingSupervisedbyProf.XuemingLiXuemingLiSpecialty：ComputerSoftwareandTheoryCollegeofComputerScienceofChongqingUniversity，Chongqing，ChinaApril2016重庆大学硕士学位论文中文摘要摘要随着互联网上的文本信息量呈指数式增长，自然语言处理作为计算机智能处理海量文本信息的关键，已成为目前的一个研究热点。当前国际自然语言处理的研究热点有机器翻译，情感分析，语义分析，文档摘要等，并且都取得了不错的成绩。其中，多文档摘要技术为快速、有

3、效地组织大量信息提炼出至关重要的内容，提供了一种良好的途径。其旨在相似话题的文本中提炼出重要主题的内容，生成简短通顺、可读性好的短文本摘要，为用户处理信息带来了便利。关于多文档摘要研究，主题关系和语义信息对文本信息理解至关重要。LDA模型是一种文档随机生成过程，它通过Gibbs采样，把语料库中的词项和文档映射到潜在主题的维度上，挖掘出文章中隐藏在词汇背后的主题信息。摘要的句法分析有利于降低修饰词的嵌套复杂度，融合新的结构信息，丰富了摘要句的表达多样性，对研究自动摘要的冗余消除有着积极推动作用。从主题关系和语义融合相结合的角度，本课题研究了多文档摘要句生成方法，重点工作和

4、创新点如下：第一，设计了基于整数线性规划的概括式自动摘要算法的框架，该算法优选出每个主题下的重要主题语义信息，融合组装成新的摘要句，并考虑了对候选摘要句的润色加工，补齐句子主干成分的辅助信息，名词短语和动词短语的重写，改善了生成概括式摘要的信息覆盖和可读性。第二，提出了基于改进LDA模型和K-means的主题句聚类算法T-means，利用了大规模文档集的聚类数与拆为为句子集中潜在主题数目的一致性特点，解决了LDA模型的最佳主题数目的估计，设计出新的主题重要度可计算模型，选取n个主题所在维度上的重要句子作为初始聚类中心，完成主题句的聚类。第三，采用文本理解会议的公开数据集

5、DUC2003和DUC2004对比不同风格摘要算法，以及当前流行的摘要算法，本文提出的摘要算法在信息丰富度和可读性上明显好于抽取式摘要和压缩摘要。关键词：多文档自动摘要，主题句聚类，潜在狄立克雷分布，信息融合I重庆大学硕士学位论文英文摘要ABSTRACTWiththeexponentialgrowthoftextinformationontheInternet,NaturalLanguageProcessinghasbecomeahotresearchtopicbecauseofcomputerintelligentprocessingofmasstextmessage

6、s.Currently,theinternationalresearchhotspotsofNaturalLanguageProcessing,MachineTranslation,SentimentAnalysis,SemanticAnalysis,DocumentSummary,etc,hasmadeabetterperformance.Amongthem,Multi-documentSummarizationtechnologyprovidesagoodwayforuserstoorganizealotofinformation,extractimportanti

7、nformationquicklyandeffectively.Itsefforttoextractanimportantthemecontentfromsomesimilartopictextsandpresentittotheuserintheformofashort,concise,readabletext.Itenhancestheuserinformationprocessingefficiency.AstoResearchonmulti-documentsummarization,thematicrelationsandsem