层次短语翻译的神经网络调序模型

《层次短语翻译的神经网络调序模型》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、ISSN104／2O——00-0054清华大学学报(自然科学版)2014年第54卷第12期CN11-2223／NJTsinghuaUniv(Sci8LTechno1)，2014，Vo1．54，No．121529—1533层次短语翻译的神经网络调序模型李鹏，刘洋，孙茂松(清华大学计算机科学与技术系，智能技术与系统国家重点实验室，清华信息科学与技术国家实验室(筹)，北京100084)摘要：调序歧义是层次短语翻译模型面临的主要挑战之层次短语翻译模型l1是一类被广泛使用的统一，但在该类模型中使用的上下文信息非常有限，制约了该计机器翻译模型。该类模型基于同步上下文无关文类模型处理调序歧义的能力。为了

2、更充分地利用上下文信法进行翻译。虽然上下文信息对于缓解调序歧义和息，提出了一种面向层次短语翻译模型的神经网络调序模提高模型的调序能力具有重要作用，但受制于同步型。该模型将调序看作分类问题，首先使用递归自动编码器上下文无关文法的约束，该类模型中只使用了有限为任意长度的字符串计算向量表示，然后使用这些向量表示的上下文信息，需要引入更丰富的上下文信息以提作为分类特征，用于预测不同调序方式的概率，最后将这些高模型调序能力。概率作为新的特征加入翻译模型中进行翻译。实验结果显将调序看作分类问题并通过分类特征引入更多示：在中一英翻译任务上，该模型相比基线系统获得了0．3～上下文信息是一种行之有效的方法。

3、文[3]为每一0．8的BLEU值提升，具有更好的调序能力。种可能的源语言串构建最大熵分类器，用于规则选关键词：计算机科学与技术；神经网络；调序模型；递归自择。文E4-1在此基础上，按照源语言串是否包含变量动编码器；层次短语翻译模型和变量相对于其他字符串的位置对源语言串划分模中图分类号：TP391．2文献标志码：A式，并为每一种模式建立最大熵分类器，用于预测对文章编号：i000—0054(2014)12-1529—05应的目标语言串模式，有效减少了分类器数量，获得了翻译效果的提升。文[5—8]等验证了该类方法在其他基于同步上下文无关文法的翻译模型上的有效性。但在以上方法中如何选取特征仍然是一

4、个挑战。对于任意给定的字符串，哪些字、词或词组对于调序问题而言是更好的特征并不是显而易见的，因而只能根据经验进行人工选择。已有工作中通常采用边界词作为特征¨3]，只能利用短语内的部分上下文信息。深度学习技术的发展为以上问题的解决提供了新的可能性。在深度学习技术中，每个词被表示成一个实值向量，称为词向量_gl=；通过使用递归自动编码器(recursiveautoencoder)l_】，可由词向量出发，为任意长度的短语计算向量表示，这些向量表收稿日期：2014—0922基金项目：国家“八六三”高技术项目(2012AA011102)；国家自然科学基金重点项目(61331013)；国家科技支撑计划

5、项目(2014BAK101303)作者简介：李鹏(1987一)，男(汉)，吉林，博士研究生。通信作者：刘洋，副教授，E-mail：liuyang2011@tsinghua．edu．cn清华大学学报(自然科学版)示则可作为分类特征用于构建分类器，从而更加有目标语言串的模式，其中“X”表示非终结符，“F”效地利用上下文信息，为解决层次短语翻译模型的表示源语言字符串，“E”表示目标语言字符串(层次调序问题提供了一个新的方向。短语翻译模型为减小解码过程中的歧义，要求源语本文提出了一种基于神经网络的层次短语翻译言串至少包含1个词，因而不存在模式为“x”的源调序模型。与文[4]类似，本文为翻译规则中的

6、源语语言串)。分类器用于在给定源语言串模式的情况言字符串划分模式，为每一种模式的源语言串建立下，预测目标语言串的模式。记一条翻译规则的源相应的神经网络分类器，用于预测目标语言串的模语言串为a，模式为，目标语言串为，模式为式。每一个分类器由若干递归自动编码器和1个分，上下文信息为C，则分类器用于计算概率P(类层构成。递归自动编码器用于计算规则中变量所J丁0，d，，c)。对应的子串和源语言串中连续的词的向量表示，这表1只含有1个非终结符的规则的源语言和些向量表示作为特征输人分类层用于测序目标语言目标语言串模式串模式，进而克服了上文所述方法不能充分利用整源语言串模式目标语言串模式个短语信息的缺点

7、。实验显示，该模型获得了比基XxF线系统更好的调序能力和翻译效果。XEFxExFXFl层次短语翻译模型ExE层次短语翻译模型屯是一种被广泛使用的、基于上下文无关文法的翻译模型。该模型中使用的2．2递归自动编码器每条规则由1个左端项和2个右端项构成，表示2深度学习方法中通常将词表示成实值向量即词个右端项可由左端项同步生成，以下为一条规则向量，而递归自动编码器_】则可以为任意长示例：度的短语计算向量表示。设给定2个词山和，X