基于LSTM的自动文本摘要技术研究

《基于LSTM的自动文本摘要技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、工程硕士学位论文基于LSTM的自动文本摘要技术研究作者姓名洪冬梅工程领域电子与通信工程校内指导教师史景伦教授校外指导老师徐韬高级工程师所在学院电子与信息学院论文提交日期2018年4月ResearchonAutomaticTextSummarizationBasedonLSTMADissertationSubmittedfortheDegreeofMasterCandidate：HongDongmeiSupervisor：Prof.ShiJinglunSouthChinaUniversityofTechnologyGuangzhou,China分类号：TP

2、391.1学校代号：10561学号：201521010022华南理工大学硕士学位论文基于LSTM的自动文本摘要技术研究作者姓名：洪冬梅指导教师姓名、职称：史景伦教授申请学位级别：工程硕士学科专业名称：电子与通信工程论文形式：□产品研发□工程设计□应用研究□工程/项目管理□调研报告研究方向：自然语言处理论文提交日期：2018年4月10日论文答辩日期：2018年6月5日学位授予单位：华南理工大学学位授予日期：年月日答辩委员会成员：主席：委员：摘要自动文本摘要技术旨在通过机器将长文本概括成凝练简洁的摘要，可从海量文本数据中快速地获取所需信息，以有效解决信息过载

3、。现有文摘技术的研究集中在抽取式方法和小规模数据集，难以满足大数据时代的信息需求。受益于深度学习技术的发展，基于seq2seq神经网络模型的生成式摘要已成为新的研究趋势。鉴于LSTM在处理序列数据长距离依赖关系的优越性，本文在此基础上构建了seq2seq生成式多句摘要模型，实现自动摘要获取，提升文本摘要的质量，并在CNN/DailyMail数据集上验证分析，采用ROUGE指标评估，主要研究内容如下：首先，构建了融合编码器全局注意力的seq2seq模型，以便模型关注有用的信息。为进一步提升模型效果，文中提出了用以衡量源文本和摘要的语义相关度的两种计算方式，

4、分别是直接计算和融合计算，以计算编码端和解码端最后隐状态的余弦相似度，并在训练时引入额外的损失项，最大化源文本和摘要的语义相似度。仿真结果表明，注意力模型以及两种计算方法可显著提高模型效果，直接计算的性能优于融合计算。其次，针对注意力模型无法正确解码未登录词的问题，提出了融合解码器全局注意力的混合指针模型。为了构建一个调节门作为软开关，解码器上需先生成一个语境向量，并与编码器的语境向量相结合，从而将生成词的来源分为两部分，一部分用传统softmax层从词表中预测词，另一部分用注意力机制来预测从源文本复制词的位置。仿真结果表明，混合指针模型可解决未登录词问

5、题，有效提升了ROUGE分数。再次，针对解码过程中产生重复片段的现象，提出了基于多注意力的覆盖模型，以便解码时可以回顾过去所有时刻的编码器和解码器的注意力关注情况，有效分析源序列对当前输出的有用信息。并在训练过程中引入了惩罚因子，对重复关注加以惩罚，可增强模型的全局把控能力，准确定位到有用信息，从而抑制重复。仿真结果表明，覆盖模型可进一步提升摘要的质量。最后，为了降低全局注意力所导致的长序列输入噪声的影响，提出了局部注意力模型，利用解码端状态预测当前时刻关于源序列的注意力中心，以便将注意力集中在一个窗口内，实现降低噪声的功能。仿真结果表明，局部注意模型降

6、低了冗余噪声，进一步提高了模型的性能。关键词：生成式文摘、LSTM、注意力机制、自然语言处理IAbstractTheautomatictextsummarizationtechnologyaimstosummarizelongtextsintoconciseabstractsbymachines,whichisofgreatsignificanceinsolvinginformationoverload,andmakesitpossibletoquicklyobtaintherequiredinformationfrommassivetextdata.H

7、owever,existingtechnologiesareconcentratedonextractivemethodsandsmall-scaledatasets,anditisdifficulttomeettheneedsoftheeraofbigdata.Benefitfromthedevelopmentofdeeplearningtechnology,neuralsequence-to-sequencemodelshaveprovidedanewapprochforabstractivetextsummarization.Inviewofthe

8、superiorityofLSTMinprocessinglong-distan