厦门大学第四届机器翻译研讨会评测系统描述

《厦门大学第四届机器翻译研讨会评测系统描述》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、厦门大学第四届机器翻译研讨会评测系统描述陈毅东史晓东周昌乐{ydchen,mandel,dozero}@xmu.edu.cn厦门大学信息科学与技术学院智能科学与技术系2008年11月北京提纲概述机器翻译系统概要系统融合方法概要测评数据与结果小结提纲概述机器翻译系统概要系统融合方法概要测评数据与结果小结概述厦门大学参加了汉英新闻领域机器翻译（开放）汉英新闻领域系统融合英汉新闻领域机器翻译（受限）英汉科技领域机器翻译（受限）使用的模型汉英机器翻译：短语，短语+规则英汉机器翻译：短语+规则、规则使用的融合方法和系统融合评测中使用的相同提纲概述机器翻译系统概要系统

2、融合方法概要测评数据与结果小结机器翻译系统概要（1）统计翻译系统短语模型对数线性模型融合特征：短语翻译概率（正向/反向）、词汇化短语翻译概率（正向/反向）、语言模型、长度惩罚因子、短语惩罚因子单调解码，动态规划方法汉英机器翻译评测中，我们的短语翻译系统则结合了基于组块的词语调序模型机器翻译系统概要（2）规则翻译系统基本模块：词法分析句法分析词义消歧译文生成采用依存文法描述英语和汉语，文法由程序来描述词典条目大约10万结合了部分TM技术没有专门针对这次评测进行调整提纲概述机器翻译系统概要系统融合方法概要测评数据与结果小结系统融合方法概要（1）早在19

3、94年就有研究者研究多引擎翻译系统。多引擎系统的研究可以粗略地分成两类：简单地在各系统的输出中选出一个最佳的结果。从各系统的输出中各选取最佳片段并构成新的结果。由于融合粒度更细，第二类方法常常可以获得更好的融合效果。第二类系统融合技术需要解决的两个问题：必须从候选翻译中抽取出与原文相对应的翻译片段。必须在这些可用的翻译片段中筛选并组合成新的翻译结果。系统融合方法概要（2）参考文献ChenYu,AndreasEisele,ChristianFedermann,EvaHasler,MichaelJellinghaus,andSilkeTheison.2007.

4、Multi-EngineMachineTranslaitonwithanOpen-SourceDecoderforStatisticalMachineTranslaiton.In:ProceedingsoftheSecondWorkshoponStatisticalMachineTranslation,Prague,193-196.平行语料库候选翻译原文新句对短语表短语模型训练模块单语语料库语言模型语言模型训练模块短语翻译解码模块译文提纲概述机器翻译系统概要系统融合方法概要测评数据与结果小结评测数据与结果（1）使用的外部工具GIZA++工具包对双语语料进行

5、词对齐，训练模式是15H53545使用SRI语言模型工具包来训练语言模型使用CRF++工具包来训练组块分析器（汉英测评中）。评测数据与结果（2）汉英新闻机器翻译评测数据结果来源量双语句库训练数据(common部分),LDC2005T06,LDC2003E07,LDC2006T04,LDC2003T17,LDC2004T07,LDC2002T01,LDC2002E18,LDC2003E1496万句对树库LDC2005T011.8万句英语语料LDC2007T07(xinhuapart)275M词双语句库的英文部分18M词系统BLEU4NIST5时间(s)xmu

6、-constrast-memt（统计+规则）0.24127.50826935.44xmu-primary-pumpkin（统计）0.23907.84015341.25评测数据与结果（3）汉英新闻系统融合评测根据诸系统在ssmt2007测试集上的成绩仅挑选了前4名的系统参与融合采用的数据情况同汉英新闻机器翻译评测结果constrast系统使用和汉英新闻机器翻译评测相同的参数，primary系统则将长度惩罚因子参数增加到原来的两倍。系统BLEU4NIST5时间(s)xmu-primary-memt10.27217.440815043.03xmu-constra

7、st-memt20.23215.195515108.88评测数据与结果（4）英汉新闻机器翻译评测数据情况结果来源量双语句库所提供的训练数据(common部分)61万句对汉语语料双语句库的中文部分8M词系统BLEU5NIST6时间(s)xmu-primary-memt（统计+规则）0.23697.96243262.44xmu-constrast-neon（规则）0.22638.319936.45pbtm（统计）0.2020--评测数据与结果（5）英汉科技机器翻译评测数据情况结果xmu-constrast-memt2系统仅使用科技语料来源数据量双语句库所提供的

8、训练数据（common部分）61万句对所提供的训练数据（中信所语料