基于深度学习模型的CCG超标注.pdf

《基于深度学习模型的CCG超标注.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、嗨！thesis博士学位论文基于深度学习模型的CCG超标注CCGSUPERTAGGINGBASEDONDEEPLEARNINGMODELSREKIAKADARI哈尔滨工业大学2018年06月国内图书分类号：TP391.1学校代码：10213国际图书分类号：681.324密级：公开工学博士学位论文基于深度学习模型的CCG超标注博士研究生：REKIAKADARI导师：刘挺教授申请学位：工学博士学科：计算机科学与技术所在单位：计算机科学与技术学院答辩日期：2018年06月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP391.1U.D.C:681

2、.324DissertationfortheDoctoralDegreeinEngineeringCCGSUPERTAGGINGBASEDONDEEPLEARNINGMODELSCandidate:REKIAKADARISupervisor:Prof.LiuTingAcademicDegreeAppliedfor:DoctorofEngineeringSpecialty:ComputerScienceAffiliation:SchoolofComputerScienceandTechnologyDateofDefence:June,2018Degree-Co

3、nferring-Institution:HarbinInstituteofTechnology摘要摘要如何让计算机理解并处理人类语言是人工智能领域的长盛不衰的研究课题。使用自然语言与具有人工智能的计算机交互常被称为自然语言处理（NLP）。自然语言处理在我们日常生活中应用十分广泛。序列标注是自然语言处理领域中历史最悠久的研究课题之一，包括词性标注（Partofspeechtagging）和CCG超标注(CombinatoryCategorialGrammarsupertagging,组合范畴语法超标注）。CCG超标注是许多自然语言处理任务的前序步骤，例如

4、组块(chunking)和句法解析(parsing)。CCG超标注可定义为：给定一个由词构成的序列，要求给序列中的每个词赋予一个CCG超标签。CCG超标注的最大挑战在于超标签的总数巨大，以及每个词可赋予的超标签数目众多，这使得许多应用非常复杂。前人提出过许多方法来应对这一问题，这些方法通常基于不同的统计机器学习方法。同时这些方法通常使用大量人工设计的表示和输入特征来取得较好的实验效果。但是，如何自动地提取输入的表示特征也是研究的重点。深度学习可以看成是机器学习和表示学习的结合，可以自动学习有用的特征和输入表示。因此我们将尝试使用深度学习技术处理CCG超标

5、注任务。在本文中，我们专注于CCG超标注这一任务，提出了一些技术，可以让赋予每个输入词的词法类别数目减少。我们的目标是开发一个简单而准确的模型来解决CCG超标注的挑战，同时利用深度神经网络学习必要的间接表示以避免复杂的人工特征选择。我们认为现有的CCG超标注有三个主要问题。第一个问题是长序列建模问题，即循环神经网络(RNNs)只能记忆较少的步骤，难以建模较长的序列。由于深度学习模型能从输入的依存中受益，而统计机器学习算法能够从输出的依存中受益；因此第二个问题是对于CCG超标注这一结构预测任务，如何同时从输入和输出依存中学习，这是非常必要的。最后，第三个问

6、题是未登录词(OOV)的问题，即未登录词和罕见词会降低模型的准确率。因此，本文的主要目标是使用深度学习技术解决上述CCG超标注任务中的问题，并有效降低所预测的超标签的个数。此外，要避免使用词法特征以及其他手工构建的特征。特别地，以下问题是本文着重考虑的：1）如何记忆序列信息是许多序列标注问题的关键任务，CCG超标注亦是如此。我们提出了一个基于门限循环单元（GRU）网络的新方法。为了同时保存从-I-哈尔滨工业大学工学博士学位论文左到右和从右到左的信息，我们应用了双向门限循环单元。此外，我们采用了深度结构来学习输入间的复杂交互。所提的方法的试验结果提升了CC

7、G语法的超标注和多标注的性能。2）我们为CCG超标注提出了一个新的方法，叫做“后向-双向长短时记忆网络（Backward-BLSTM）”。长短时记忆网络（LSTM）作为一个比门限循环单元更有效的模型，它能更好地记忆信息以及预测最可能的超标签。我们提出的结构对于CCG语法的超标注和多标注都是有效的。试验结果表明所我们提出的方法能有效地建模长序列，同时能达到领先的性能。3）前人为CCG超标注这一任务提出了许多模型。然而这些模型要么是使用基于手工构建特征的机器学习方法，要么虽然是基于深度学习的模型但是却忽略了临近输出标签之间的依存关系，而这一关系对于预测当前标

8、签十分重要。因此，如何利用临近的输出标签来预测当前位置的标签是关键。在这项工作中