ISCAS基于短语的统计机器翻译系统

《ISCAS基于短语的统计机器翻译系统》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、ISCAS机器翻译和系统融合评测系统张大鲲孙乐中国科学院软件研究所dakun04@iscas.ac.cn大纲汉英新闻领域翻译评测概述系统流程预处理和后处理测试结果系统融合评测2概述训练语料受限的汉英机器翻译基于短语的统计机器翻译系统4元语言模型3元大小写敏感语言模型进行大小写还原利用规则对数字进行处理3系统流程全部小写化GIZA++双向词对齐短语抽取5个概率4元语言模型3元大小写敏感语言模型数词翻译替换翻译输出数词识别与替换Beam搜索解码预处理后处理训练平行语料4特征短语翻译概率词汇化概率反向短语翻译概率反向词汇化概率短语惩罚概率（2.718）词语惩罚（目标语言

2、句子长度）目标语言模型，4元5预处理和后处理中文语料中的英文和英文语料全部小写中文全角字符转换为半角ＡＢＣ１２３→ABC123StanfordChineseWordSegmenter分词数字单独处理6训练语料来源数据提供单位数据文件类型句对数目（约）厦门大学英汉电影字幕平行语料库厦门大学电影17万哈工大信息检索组英汉句子级对齐语料库哈工大检索综合10万ChineseLDC（资源编号：CLDC-LAC-2003-006）汉英/汉日双语语料库（汉英部分）北京大学综合20万哈工大机器翻译组英汉句子级对齐语料库哈工大机译综合5万ChineseLDC（资源编号：CLDC-L

3、AC-2003-004）中英句子级对齐双语语料库计算所、自动化所综合30万合计82万短语数量：1600万7开发集调整参数参数WPPT-0.26590.04490.10090.03210.0433-0.2747参数DWLWMLLDMSTL0.09490.14337410020WP–词语惩罚PT–翻译模型概率（包括词汇化概率和短语惩罚）DW–调序的权重LW–语言模型权重ML–最大的短语长度LD–调序的限制范围MS–栈大小TL–允许的最多翻译候选项489句4个参考答案BLEU=0.10398测试结果IDBLEU4NIST5GTMmWERmPERICT受限语料ISCAS0

4、.18386.81840.65960.78840.56760.2752最好结果0.22647.64260.71280.73070.51640.3352非受限语料最好结果0.28097.52350.72380.68240.50500.38059系统融合主要方法(Rostietal.2007)句子级融合重评分，输出最好的句子短语级融合构造新的短语表，计算概率，重新解码词级融合词对齐，形成词图，最优路径10系统融合11重评分统计在候选翻译中出现的所有n-gram个数计算每个句子中命中的个数n=7权重，利用开发集训练12测试使用提供的10个单位提交的17个系统的翻译结果（

5、没有使用系统U14的结果）IDBLEU4NIST5GTMmWERmPERICTISCAS0.25098.10130.71960.71540.50050.3336最好结果0.29447.75010.73190.67610.49720.392013总结汉英新闻领域翻译评测训练语料受限基于短语的翻译系统4元语言模型利用规则对数字进行处理系统融合评测句子级的融合方法利用n-gram进行重评分14谢谢!Thanks!15