第九届全国机器翻译研讨会cwmt2013评测大纲

《第九届全国机器翻译研讨会cwmt2013评测大纲》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第九届全国机器翻译研讨会（CWMT2013）评测大纲中国科学院计算技术研究所CWMT2013机器翻译评测小组一.引言第九届全国机器翻译研讨会（CWMT2013）将于2013年10月31日-11月1日在昆明理工大学举行。根据惯例，本次研讨会将继续组织统一的机器翻译评测。CWMT2013机器翻译评测方案与往届评测相比有较大变化。首先，本次评测将采取全新的“灰箱评测（Gray-boxEvaluation）”方式，即参评单位除了提交最终的翻译结果文件外，还需提交主系统的翻译关键步骤的中间结果文件。其次，评测组织方将提供所有评测项目的“基线系统（BaselineSystem）”及相应的关键步骤中间结果文

2、件。此外，在传统自动评测的基础上，本次评测还将增加人工评测。希望通过这些新举措，CWMT2013机器翻译评测能够为参评单位提供一个更加开放的平台，促进参评单位间的实质性交流和机器翻译研究及技术的发展。我们期待着更多的新人和成熟的研究团队能参加到这个评测中来。本次评测的组织信息如下（均以汉语拼音为序）：评测主办机构：中国中文信息学会评测组织单位：中国科学院计算技术研究所评测合作单位：东北大学哈尔滨工业大学内蒙古大学青海师范大学微软亚洲研究院厦门大学新疆大学中国科学技术信息研究所中国科学院自动化研究所评测资源提供单位：北京大学点通数据有限公司东北大学哈尔滨工业大学内蒙古大学青海师范大学西北民族大学

3、西藏大学厦门大学新疆大学中国科学技术信息研究所中国科学院合肥智能机械研究所27中国科学院计算技术研究所中国科学院新疆理化技术研究所中国科学院自动化研究所评测委员会主席：吕雅娟（中国科学院计算技术研究所）评测委员会委员：AntonioToral（都柏林城市大学）才让加（青海师范大学）曹海龙（哈尔滨工业大学）陈家骏（南京大学）黄德根（大连理工大学）李沐（微软亚洲研究院）刘群（中国科学院计算技术研究所；都柏林城市大学）那顺乌日图（内蒙古大学）史晓东（厦门大学）孙乐（中国科学院软件研究所）吐尔根·伊布拉音（新疆大学）王惠临（中国科学技术信息研究所）张家俊（中国科学院自动化研究所）赵红梅（中国科学院计算

4、技术研究所）朱靖波（东北大学）有关研讨会的更多信息请参见以下网址：http://www.liip.cn/CWMT2013/有关评测的更多信息请参见以下网址：http://nlp.ict.ac.cn/evalshow.php?id=2013一.评测项目本次评测包含6个评测项目，我们将为各个评测项目的参评单位提供相应的训练语料和开发语料。具体项目设置如表1所示。表1CWMT2013评测项目表序号项目代号评测项目名称语种领域1CE汉英新闻领域机器翻译汉语à英语新闻领域2EC英汉新闻领域机器翻译英语à汉语新闻领域3ES英汉科技领域机器翻译英语à汉语科技领域4MC蒙汉日常用语机器翻译蒙古语à汉语日常用语

5、5TC藏汉政府文献机器翻译藏语à汉语政府文献6UC维汉新闻领域机器翻译维吾尔语à汉语新闻领域27对于每个评测项目，参评单位可以自由选择所采用的机器翻译技术（如：基于规则的机器翻译技术、基于实例的机器翻译技术及统计机器翻译技术等）。参评单位也可以使用系统融合技术，但在系统描述中必须做出明确说明，并在技术报告中说明进行系统融合的各个单系统的性能。评测组织方在发布评测结果时，将对使用系统融合技术的系统进行标注说明。特别说明：若某一评测项目的报名参评单位少于3家，评测组织方将取消该评测项目。一.评测方法1.灰箱评测（Gray-boxEvaluation）本次评测将首次采用类似“灰箱测试（Gray-bo

6、xtesting）”的方法，我们称之为“灰箱评测”，即参评单位除了提交最终的翻译结果文件外，还要提交评测组织方设定的主系统的关键步骤相关的中间文件（简称为“灰箱评测数据”），以方便参评单位对翻译结果进行比较和分析，促进参评单位间的实质性交流。关于参评单位需要提交的灰箱评测数据文件以及文件格式的详细说明请参见附件二。2.基线系统（BaselineSystem）评测组织方将为每个评测项目提供一个或多个基线系统，包括基线系统的源代码和相应的灰箱评测数据。参评单位可以针对基线系统进行优化改进，藉此构建自己的机器翻译系统，也可以完全使用自己的系统。基线系统提供的数据和翻译结果可以作为参评单位参考和比较的

7、基准。参评单位可以获得参评项目的基线系统和相关数据。评测组织方为参评单位提供基线系统的数据如下：(1)源代码（若使用开源工具，则提供相关工具的下载地址及所使用的命令和参数）；(2)训练部分相关的灰箱测试数据；(3)解码部分相关的灰箱测试数据（发布最终评测结果时提供）；3.评测指标自动评测：自动评测是指利用自动评价工具对参评单位提交的最终翻译结果文件进行评价。本次评测中的自动评测采用多种自动评价标准