基于深度学习和主题模型的问答系统算法研究

《基于深度学习和主题模型的问答系统算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、工程硕士学位论文基于深度学习和主题模型的问答系统算法研究作者姓名詹国辉工程领域控制工程校内指导教师俞祝良教授校外指导教师梁添才高级工程师所在学院自动化科学与工程论文提交日期2018年4月ResearchonQuestionAnsweringSystemAlgorithmBasedonDeepLearningandTopicModelADissertationSubmittedfortheDegreeofMasterCandidate：ZhanGuohuiSupervisor：Prof.YuZhuliangSouthChinaUniversityofTechn

2、ologyGuangzhou,China分类号：TP391学校代号：10561学号：201521013658华南理工大学硕士学位论文基于深度学习和主题模型的问答系统算法研究作者姓名：詹国辉指导教师姓名、职称：俞祝良教授申请学位级别：工程硕士工程领域名称：控制工程论文形式：产品研发工程设计应用研究工程/项目管理调研报告研究方向：自然语言处理问答系统论文提交日期：2018年4月23日论文答辩日期：2018年6月5日学位授予单位：华南理工大学学位授予日期：年月日答辩委员会成员：主席：顾正晖委员：李远请、俞祝良、余晋刚、吕洪燕摘要随着我们生活的智能化，通过

3、人机对话就能与各种硬件设备进行交互，从而为人类提供语言信息服务、智能语音操控设备和提供娱乐聊天功能，如今已经成为了一个热门话题。本文主要研究基于深度学习和主题模型的问答系统，其中传统神经网络问答模型存在很多问题亟待解决，其中一个关键问题就是如何为开放域(open-domain)问答引入外源知识信息。为促进问答的丰富多样性，本文从主题模型和神经网络Seq2Seq(sequence-to-sequence)框架方面展开研究工作：1）Twitter-LDA(LatentDirichletAllocation)适用于短文本的概率主题模型，其假设是每个短文本归类于一个

4、主题，引入主题模型为深度神经网络Seq2Seq问答模型引入了外源知识，因此问答模型除了从问答语料学习对话模式外，还能利用主题模型提取的主题词，弥补了Seq2Seq生成式模型缺少的外源知识信息，促进生成答案内容丰富多样性。2）融合主题到传统神经网络问答模型即神经网络主题问答模型，并使用大规模语料训练。神经网络主题问答模型的解码阶段，使用联合注意力机制即主题注意力(topicattention)机制和问句注意力(messageattention)机制，使得问答模型解码生成词时能动态地利用问句语义向量和主题词语义向量。同时增加主题词偏置概率，促进生成主题相关的答案

5、。3）针对神经网络主题问答模型中主题词噪声和问句语义理解问题，本文提出一种新的注意力增强的主题问答模型，并且对问答模型做进一步的优化工作。使用Seq2Seq编码的全局语义向量和动态加权的局部语义向量，两者的混合语义向量输入到注意力机制能更好挖掘问答语料中词的语义信息和减少无关主题词的影响，同时使用主题注意力的权重系数去调整主题词偏置概率，进一步增强与问句相关性强的主题词在答案中出现的概率，减少无关主题词噪声数据的影响。最后，基于大规模开放域问答语料训练主题问答模型，实验对比结果直观验证了阐述方法的有效性。关键词：问答系统；深度学习；主题模型；注意力机制IAB

6、STRACTWiththeintelligentizationofourlives,human-machinedialoguescaninteractwithvarioushardwaredevices,therebyprovidinghumanswithlanguageinformationservices,intelligentvoicecontroldevices,andprovidingentertainmentchat.Nowadays,ithasbecomeahottopic.Thispapermainlystudiesthequestion-a

7、nsweringsystembasedondeeplearningandtopicmodel.Thetraditionalneuralnetworkquestion-answeringmodelhasmanyproblemstobesolved.Oneofthekeyissuesishowtointroduceexogenousbackgroundknowledgeforopen-domainquestionsandanswers.Inordertopromotetherichnessanddiversityofquestionandanswer,thisp

8、aperstartstheresearchworkf