多轮对话语料构建中的离群对话分析

《多轮对话语料构建中的离群对话分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文多轮对话语料构建中的离群对话分析RESEARCHONTHEOUTLIERDIALOGUESINTHECONSTRUCTIONOFMULTI-TURNCONVERSATIONSCORPUS郑桂东哈尔滨工业大学2018年6月国内图书分类号：TP391.1学校代码：10213国际图书分类号：004.9密级：公开工程硕士学位论文多轮对话语料构建中的离群对话分析硕士研究生：郑桂东导师：刘铭副教授申请学位：工程硕士学科：计算机技术所在单位：计算机科学与技术学院答辩日期：2018年6月授予学位单位：

2、哈尔滨工业大学ClassifiedIndex:TP391.1U.D.C:004.9DissertationfortheMasterDegreeinEngineeringRESEARCHONTHEOUTLIERDIALOGUESINTHECONSTRUCTIONOFMULTI-TURNCONVERSATIONSCORPUSCandidate：ZhengGuidongSupervisor：AssociateProf.LiuMingAcademicDegreeAppliedfor：MasterofSci

3、enceSpeciality：ComputerScienceandTechnologyAffiliation：SchoolofComputerScienceandTechnologyDateofDefence：June,2018Degree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学工程硕士学位论文摘要近年来，伴随着互联网计算机技术的高速发展，各大领域技术开始聚焦人工智能（ArtificialIntelligence）技术，引

4、领了一波人工智能信息时代的进步。而智能对话系统作为人工智能中的一个重要表现形式，其引起了工业界以及学术界的广泛关注。然而，构建多轮对话聊天系统需要高质量的海量口语对话语料，以便于训练智能对话系统中的口语语义理解模型等关键技术。对于对话系统中的口语对话语料，一般是从社区论坛（如贴吧、微博等）中获取并且加工而成。尽管社区论坛对话资源丰富，但这些对话往往包含了大量如游戏、购物广告等垃圾信息。此外，一些涉及辱骂等一些敏感话题也需要清除。而离群对话分析为多轮对话语料构建中的重要一环，本文从对话的主题方向切入

5、，主要为分析多轮对话语料中偏离文档主题的句子，进而构造出一种高质量的纯净对话语料库。对于论坛文本，其形式往往长度短小，且内容较少、实时性强，传统方法收效见微。针对上述问题，本文运用了现在广为流行的深度学习技术来对社区对话语料来进行处理，本文主要研究内容包括以下几个方面：（1）首先对网络论坛数据判别文本是否含有偏离主题的句子，然后再从含有偏离主题的对话中定位出离群的句子，此外，本文使用主题分割方法来对多轮对话切分成各个独立的子主题相关对话。（2）对于判别短文本对话中是否包含偏离主题句子时，使用了人工

6、构造对话训练数据分别来对层次门限网络（HGRU）以及层次门限-卷积网络（HGRU-CNN）进行训练，之后在少量人工标注的数据集上进行测试。（3）在判别出包含偏离主题的对话中，本文提出了基于主题-对话匹配门网络以及融合注意力机制的模型来对对话的每一句进行判定，定位出偏离主题的句子，并将其去除。（4）运用了基于主题分割技术的对话划分，使用端到端的网络结构来对对话文本进行切分，使切分后的每一个短文本均关于各个子主题；本文使用了TDT2语料库来对模型进行训练，并将该模型迁移到论坛对话文本中，实验结果经构造

7、的验证集测试，符合预期效果。关键词：短文本处理；深度学习；主题分割；注意力机制；迁移学习-I-哈尔滨工业大学工程硕士学位论文AbstractInrecentyears,withtherapiddevelopmentofcomputertechnology,themajorareashavebeguntofocusonartificialintelligencetechnology,leadingawaveofprogressintheeraofartificialintelligence.Asan

8、importantformofartificialintelligence,thedialoguesystemhasattractedwideattentionfromindustryandacademia.However,constructingmulti-turnofdialoguesystemrequireshigh-quality,large-scalespokendialoguecorpusinordertotrainthekeytechnologiesofdialogu