机器阅读理解模型中的关键问题研究

《机器阅读理解模型中的关键问题研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文机器阅读理解模型中的关键问题研究ResearchonKeyIssuesinMachineReadingComprehensionModels李亚慧哈尔滨工业大学2018年6月国内图书分类号：TP391.2学校代码：10213国际图书分类号：681.37密级：公开工学硕士学位论文机器阅读理解模型中的关键问题研究硕士研究生：李亚慧导师：李生教授申请学位：工学硕士学科：计算机科学与技术所在单位：计算机科学与技术学院答辩日期：2018年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP391.2U.D.C:618.37Dissert

2、ationfortheMasterDegreeinEngineeringRESEARCHONKEYISSUESINMACHINEREADINGCOMPREHENSIONMODELSCandidate：YahuiLiSupervisor：Prof.ShengLiAcademicDegreeAppliedfor：MasterofEngineeringSpecialty：ComputerScienceandTechnologyAffiliation:SchoolofComputerScienceandTechnologyDateofDefence：June,2

3、018Degree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学工程硕士学位论文摘要AI正在多个领域中掀起着变革热潮，其中自然语言处理要求人工智能对人类语言的处理、理解和运用，可是说是真正意义上的“人工智能”，因此对AI来说有着意义重大。而机器阅读理解则是实现语言智能的关键一步，其主要涉及到深度学习、自然语言处理和信息检索等领域知识，能够让计算机帮助人类在大量文本中找到想要的答案，从而减轻人们对信息的获取的成本。本文对机器阅读理解模型中的关键问题从三个方面进行研究：考察现有模型的建模能

4、力、深度学习模型中融入外部知识以及深度学习模型自身框架在attention上的的改进和对面向大规模的中文DuReader数据集上的阅读理解系统从答案预筛选和模型优化两方面进行了改进。本文的主要研究内容为以下几个方面：第一，对机器阅读理解深度学习模型进行了分析和对比。从进行答案句筛选和答案片段筛选的阅读理解模型中，我们分别挑选了基于attention的QA-LSTM模型和BiDAF模型，对两个模型的架构及attention机制进行了详细介绍，然后对两个模型从多个方面进行了对比。最后在实验中对两个模型的性能进行评估与对比。第二，对机器阅读理解深度学习模型从两

5、方面进行改进。一方面是深度学习模型中引入先验知识。首先调研梳理了词法、句法、语义等层面的语言学知识；其次探究了在深度学习框架下各种先验知识以不同形式在网络架构下的各个网络层下的引入方式。我们在各级别语言学知识中挑选出具有代表性的知识，进行先验知识引入深度神经网络的实验。另一方面是对深度学习模型中的attention粒度进行了探讨。我们尝试在BiDAF基模型中引入了三种问题到篇章的句子级别的更粗粒度的attention，并通过实验进行了综合分析。第三，基于中文阅读理解数据集DuReader，对阅读理解系统从答案预筛选和模型两方面进行了改进，其中答案预筛选包

6、含两部分内容，即答案段落筛选和答案片段定位。对答案预筛选的改进，我们采用了全局筛选策略及基于逻辑回归模型的筛选策略。模型方面，我们在BiDAF基模型中加入了self-attention机制，并将训练目标修改为共享归一形式。最终我们在BLEU-4取得了6.25个点的提升，ROUGE-L上4.79个点的提升。-I-哈尔滨工业大学工程硕士学位论文关键词机器阅读理解；深度学习；attention机制；先验知识-II-哈尔滨工业大学工程硕士学位论文ABSTRACTAIconstantlybringsaboutagreatupsurgeinseveralfields

7、,amongthevariousfieldsofAI,NLP(NaturalLanguageProcessing)requiresAIcapableofprocessing,understandingandutilizationofhumanlanguage,whichcanbetreatedasthetruesenseof‘artificialintelligence’,thusissignificantforAI.However,machinereadingcomprehension(MRC)isakeysteptorealizelanguagein

8、telligence,whichmainlyinvolvesfieldslike