利用依存限制抽取长距离调序规则

《利用依存限制抽取长距离调序规则》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、利用依存限制抽取长距离调序规则*本文的研究是在国家自然科学基金重点项目“融合语言知识与统计模型的机器翻译方法研究”(60736014)，国家自然科学基金项目“面向科技文献的机器翻译关键技术研究”(60873167)和自然科学基金青年基金项目“利用机器学习改进统计机器翻译的研究”(60903138)的支持下完成的。作者简介：涂兆鹏：男，1988年生，博士研究生，主要研究方向为自然语言处理。刘群：男，1966年生，研究员，主要研究方向为机器翻译和自然语言处理。林守勋：男，1948年生，研究员，主要研究方向为多媒体技术和分布协同计算。涂兆

2、鹏刘群林守勋中国科学院计算技术研究所智能信息处理重点实验室北京100190摘要：长距离调序是统计机器翻译领域的一个重要问题。层次短语模型提供了一个很好的解决方案，它使用层次短语规则可以很好地表示局部调序和长距离调序。但是，使用传统的算法抽取长距离层次规则将会导致规则表数量急剧增加，从而加大解码内存和时间消耗。为了解决这个问题，我们提出了一种利用依存限制抽取长距离调序规则的新方法。我们的实验表明，我们的方法可以比基准系统高出0.74个BLEU点。关键词：统计机器翻译，层次短语模型，长距离调序，依存限制中图分类号：TP391Extrac

3、tLongDistanceReorderingRuleswithDependencyRestrictionTUZhaopengLIUQunLINShouxunKeyLaboratoryofIntelligentInformationProcessing,InstituteofComputingTechnology,ChineseAcademyofSciencesBeijing100190Abstract:Longdistancereorderingisakeyprobleminstatisticalmachinetranslatio

4、n(SMT).Hierarchicalphrase-basedmodeloffersanalternativetoaddressthisproblembyusinghierarchicalrulesthatcouldcharacterizebothlocalandlongdistancereordering.However,extractinglongdistancereorderingruleswithtraditionalalgorithmwillmakedecodertime-and-memoryconsuming.Wepro

5、poseanewalgorithmtoextractlongdistancereorderingruleswithanextradependencyrestriction.Ourexperimentsshowthatourmethodachieves0.74pointimprovementinBLEUscore.Keywords:StatisticalMachineTranslation;HierarchicalPhrase-basedModel;LongDistanceReordering;DependencyRestrictio

6、n1前言过去十年，我们见证了机器翻译领域的快速发展。短语模型[1,2]通过使用短语翻译替代字翻译来提高翻译质量，句法模型[3,4,5]通过加入句法信息进一步提高翻译质量。两类模型各有优缺点，具体如下表所示。模型优势不足短语模型1.很好地刻画短语内部的调序2.不依赖其他句法信息1.短语间的调序较差句法模型1.很好地刻画短语内部和短语间的调序1.依赖句法分析表1.短语模型和句法模型的优势和不足层次短语模型[6]使用上下文无关语法规则来综合基于短语模型和基于句法模型的优势，能够很好地刻画短语内部和短语间的调序，并且不依赖于句法分析。(Ch

7、iang,2007)表明使用层次短语模型可以比当前最好的短语模型高出1到3个BLEU点[6]。层次短语模型通过层次规则来表示短语间的调序。由于层次规则是从初始规则中泛化而来的，如果要抽取隐含长距离调序信息的规则，则必须先抽取长跨度的初始短语。这将会生成巨大的规则表，从而导致极大的解码系统内存和时间消耗。为了避免这个问题，Chiang(2007)限制了初始短语的最大跨度的阈值[6]。但是，这样会削弱模型的长距离调序能力，因为规则无法表示跨度大于阈值的短语间的长距离调序。依存树能在一定程序上反映调序信息。(Quirketal.,2005

8、)在源端使用依存树以训练一个调序模型[7]；(Shenetal.,2008)通过引入依存语言模型来刻画目标端依存结构中的长距离词之间的关系[8]；(DingandPalmer,2005)使用依存树上定义的概率同步依存插入语法[9]。受