基于词向量和lstm的汉语零指代消解研究

《基于词向量和lstm的汉语零指代消解研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于词向量和LSTM的汉语零指代消解研究RESEARCHONCHINESEZEROPRONOUNRESOLUTIONBASEDONWORDEMBEDDINGANDLSTM吴兵兵哈尔滨工业大学2016年6月国内图书分类号：TP391.2学校代码：10213国际图书分类号：681.37密级：公开工程硕士学位论文基于词向量和LSTM的汉语零指代消解研究硕士研究生：吴兵兵导师：赵铁军教授申请学位：工学硕士学科：计算机科学与技术所在单位：计算机科学与技术学院答辩日期：2016年6月授予学位单位：哈尔滨工业大学Clas

2、sifiedIndex:TP391.2U.D.C:681.37DissertationfortheMasterDegreeinEngineeringRESEARCHONCHINESEZEROPRONOUNRESOLUTIONBASEDONWORDEMBEDDINGANDLSTMCandidate：WuBingbingSupervisor：Prof.ZhaoTiejunAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：ComputerScienceandTech

3、nologyAffiliation：SchoolofComputerScienceandTechnologyDateofDefence：June,2016Degree-Conferring-Institution：HarbinInstituteofTechnology摘要摘要汉语零指代消解任务是自然语言处理领域一个重要的研究分支和研究热点，对于帮助计算机理解自然语言文本有着重要的作用。汉语零指代消解是找到汉语句子中的零指代位置所指向的先行词。传统的汉语零指代消解方法利用句子的完全句法树，通过利用词法、句法信息等来进行零

4、指代消解，很少从语义层面进行研究。随着深度学习技术的发展，词向量作为一种语义的载体被广泛地研究和应用，同时像循环神经网络（Recurrentneuralnetwork，RNN）、长短期记忆模型（Longshort-termmemory,LSTM）等模型和技术也广泛地应用在自然言处理各项任务上，并取得了很好的效果。本课题提出了使用词向量和LSTM模型用于汉语零指代消解任务，分别提出了基于词向量的汉语零指代消解框架和基于LSTM的汉语零指代消解模型。利用词向量这种语义载体，从语义层面对汉语零指代消解任务进行建模和实验，取得

5、了良好的效果，证明了利用词向量和深度神经网络模型在汉语零指代消解任务上的有效性，提供了一种汉语零指代消解的新思路。我们构建了基于词向量的线性分类框架进行汉语零指代消解任务，具体的包括关键词的提取策略，定义样本格式、训练词向量和构建线性二元分类模型等；同时为了对词向量信息和上下文信息更加有效的利用和建模，我们提出了基于双向LSTM的模型，包括构造适合汉语零指代消解任务的网络结构，对embedding的特殊处理以及各种优化方法等。实验证明本课题提出的这些方法能够有效的利用语义信息，在语义层面解决汉语零指代消解问题，与传统方

6、法相比有着更好的效果，弥补了传统方法的不足。关键词汉语零指代；词向量；深度学习；LSTM；SVM-I-AbstractABSTRACTChinesezeropronounresolutionisanimportanttaskinNaturalLanguageProcessing，anditishelpfulforcomputertounderstandnaturallanguage.ThepurposeofChinesezeropronounresolutionistofindtheantecedentofthezer

7、opronouninasentence.PreviousapproachestoChinesezeropronounresolutionmainlyuselexicalandsyntacticinformation,butthesemanticinformationisignored.Withthedevelopmentofdeeplearningtechnology,wordembeddingiswidelyresearched,atthesametimesomedeepneuralnetworkssuchasrec

8、urrentneuralnetwork(RNN),longshort-termmemory(LSTM)arewidelyappliedinmanyNLPtasksandachievegoodperformance.Inthispaper,wefocusonusingwordembeddingandLSTMmodeltoresolv