机器翻译测试大纲

《机器翻译测试大纲》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、2004年度机器翻译评测大纲一、评测对象本次评测的对象包括：汉－英、英－汉、汉－日、日－汉、汉－法、法－汉、汉法机器翻译系统中的核心技术。二、评测内容本次评测组织两种语料的评测，一种是篇章语料，一种是对话语料。领域是通用领域和面向奥运的相关领域，包括体育赛事、天气预报、交通住宿、旅游餐饮等。本次评测的评测指标包括译文质量和翻译速度。三、评测方法1.评测方式本次评测为现场评测。结果评估采用的是以人工评估为主、自动评估为辅方式。人工评估采用可理解率指标。评估方式是：由评测组织单位将提交的评测结果汇总在一起，然后用计算机随机

2、打乱译文句子的排列顺序。再将所有译文句子提交给多位专家进行可理解率的人工评测评估。将专家评测的结果汇总，用计算机还原成原来的排列顺序，计算出总得分的可理解率。自动评测采用基于n元语法的BLEU和NIST方法。……2.评测步骤(1)在评测单位统一提供的评测环境上安装被测系统。系统应安装在指定的目录中。(2)评测单位给出评测数据。评测数据存放在指定目录中。给出评测数据以后被测单位不得再更改系统参数。(3)被测单位运行系统，提交评测结果。被测单位应指导评测人员学会操作方法，所有操作由评测人员进行，系统运行时各单位人员应离场。

3、系统的运行应该是批处理方式的，系统读入一个脚本文件（格式后面说明），脚本中存放输入文件名和对应的输出文件名。(4)评测单位事后进行人工评估。(5)公布评测结果。2.评测标准（1）人工评测标准本次评测按0.0–5.0分打分，可含一位小数，最后采用百分制换算评测结果。等级分得分标准译文可理解率0完全没有译出来。0%1看了译文不知所云或者意思完全不对。不过有小部分词语是译对了的。20%2译文有一部分符合原文的一部分意思，或者全句没有译对，但是关键的词都孤立地译出来了，对人工编辑有点用处。40%3译文大致表达了原文的意思，局部

4、与原文有出入，一般情况下需要参照原文才能改正。有些情况即使无需参照原文也能猜到原文的意思，但译文的不妥明显是由于翻译程序的缺陷造成的。60%4译文传达了原文的信息。不用参照原文，就能明白译文的意思，但是部分译文在词形变化，词序，译词选择，地道性等方面多少有些问题，需要修改。不过这种修改无需参照原文也能有把握地进行，且修改也较容易。80%5译文准确流畅地传达了原文的信息，语法结构正确，除个别错别字、小品词、单复数、地道性等小问题外，只需小修改，或者完全无需修改。100%总的可理解率=所有句子得分之和/总句数/5×20×1

5、00％（2）翻译速度评测标准由主持评测的工作人员现场记录翻译时间，各系统自动显示从第一个句子翻译开始到所有句子翻译完毕所用的时间（不计系统初始化所用时间，只记开始翻译到所有句子翻译完毕所用时间）。4.输入输出文件格式系统首先接受一个脚本文件作为输入，脚本文件中给出了一系列机器翻译源语言和目标语言文件的文件路径。系统的源语言文件为一个扩展名为.xml的文本文件，英文、中文、日文的编码分别为ASCII及、GBK和XXXUnicode。目标语言文件的格式要求和源语言文件相同。下面以汉英机器翻译为例，说明脚本文件、源语言文件和

6、目标语言文件格式。（1）脚本文件格式：脚本文件是文本文件，由若干行组成。每行代表一个待翻译的源语言文件。每行分为3个部分，各个部分以空格分开，第一部分为序号，第二部分为源语言文件名，第三部分为目标语言文件名。系统的翻译应按顺序进行，不得更改输出文件名。给出的文件名都是相对于脚本文件所在目录的。1d:sourcesrc1.txxmltd:resultdst1.xmltxt2d:sourcesrc2.xmltxtd:resultdst2.txxmlt3…（2）源语言文件格式：源文件采用xml格式。每个源语言

7、文件包含一个元素（由和括起来的部分），其中元素后面的属性说明文档相关信息。docid给出文档名称，lang给出文档的源语言，属性值用双引号引起。语言代码中，英语用雍“en”表示，汉语用“zh”表示，日语用“ja”表示，法语用“fr”表示。每个段元素由若干个

元素（由

和