基于LSTM的语义关系分类研究

《基于LSTM的语义关系分类研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于LSTM的语义关系分类研究RESEARCHONSEMANTICRELATIONCLASSIFICATIONBASEDONLSTM胡新辰哈尔滨工业大学2015年6月国内图书分类号：TP391.2学校代码：10213国际图书分类号：681.37密级：公开工学硕士学位论文基于LSTM的语义关系分类研究硕士研究生：胡新辰导师：李生教授申请学位：工学硕士学科：计算机科学与技术所在单位：计算机科学与技术学院答辩日期：2015年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP391.2U.D.C:681.37DissertationfortheMasterDegre

2、einEngineeringRESEARCHONSEMANTICRELATIONCLASSIFICATIONBASEDONLSTMCandidate：HuXinchenSupervisor：Prof.LiShengAcademicDegreeAppliedfor：MasterofEngineeringSpecialty：ComputerScienceandTechnologyAffiliation:SchoolofComputerScienceandTechnologyDateofDefence：June,2015Degree-Conferring-Institution：HarbinI

3、nstituteofTechnology哈尔滨工业大学工程硕士学位论文摘要文本的深度语义分析近年来成为了自然语言研究领域的一个热点。给定实体对的句子语义关系分类是其中一个重要的任务。语义关系分类技术的研究有助于其他文本处理技术的发展，例如信息检索，信息抽取，文本摘要，机器翻译，问答知识库构建，词义消歧和语言模型等。深度学习在自然语言处理领域的应用研究是近年来的研究热点。有学者将深度学习技术用于语义关系分类任务上，并在标准测试集上得到了比传统统计学习方法更好的成绩。但是本文认为，他们提出的方案、使用的模型并没有充分挖掘深度学习在该任务上的潜力。在当前多个深度模型中，基于长短期记忆单元（Lo

4、ngShort-termmemory，LSTM）的递归神经网络（recurrentneuralnetwork，RNN）模型因为其能有效利用序列数据中长距离依赖信息的能力，被认为特别适合文本序列数据的处理。因此，本文提出一个基于LSTM的深度学习模型来解决语义关系分类问题，在标准评测集合上取得的成绩达到了目前最好水平，展示出了LSTM在挖掘文本序列语义信息任务上的强大能力。具体的，本文首先对原始文本进行预处理和特征提取，在该阶段本文提出了相对依赖特征方案，然后将预处理获得的特征做向量化处理（embedding）并送入双向LSTM（Bi-LSTM，BLSTM）模型提取文本特征；其次，通过对B

5、LSTM的输出做基于实体对位置的相对最大池化（relativemaxpooling）操作降维获得句子类型特征，从embedding层输出和BLSTM层输出中抽取对应实体的特征组成实体类型特征；最后使用前馈神经网络（MLP）对这两种类型特征做特征融合并送入softmax分类器分类。此外，本文在系统实现的过程中还实验尝试了多种最新的深度学习技术，包括最新的模型和训练的技巧，并在本文的最后对这些技术会有简要的介绍和实验分析。关键词关系分类；深度学习；RNN；LSTM-1-哈尔滨工业大学工程硕士学位论文AbstractRecently,theNLPcommunityhasshownarenewe

6、dinterestindeepersemanticanalyses,amongthemautomaticrecognitionofsemanticrelationsbetweenpairsofwords.ThisisanimportanttaskwithmanypotentialapplicationsinInformationRetrieval,TextSummarization,MachineTranslation,QuestionAnswering,KnowledgeBasePopulation,WordSenseDisambiguationandLanguageModelling

7、.InNLPcommunity,breakthroughshavebeenmadebydeeplearningonavarietyoftasksanddomainssuchaslanguagemodeling,machinetranslationandsemanticinformationretrieval.Therefore,thereissomeworkaboutapplyingdeeplearningtechniquestot