使用源语言复述知识改善统计机器翻译性能

《使用源语言复述知识改善统计机器翻译性能》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、北京大学学报(自然科学版)第51卷第2期2015年3月ActaScientiarumNaturaliumUniversitatisPekinensis，Vo1．51，No．2(Mar．2015)doi：10．13209／j．0479-8023．2015．032使用源语言复述知识改善统计机器翻译性能苏晨张玉洁t郭振徐金安北京交通大学计算机学院，北京100044；十通信作者，E—mail：yjzhang@bjtu．edu．cn摘要为了缓解双语语料不足导致的翻译知识欠缺问题，提出基于复述技术的翻译框架。此框架利用第三种语言获取带有概率的

2、复述知识表，以Lattice表示输入句子的多种复述形式，扩展解码器使之可以对Lattice形式的输入进行解码，将复述知识作为特征加入到对数线性模型的目标函数中。在保持原始翻译知识表不变的情况下，此框架不仅可以增大短语翻译表对源语言现象的覆盖率，也能够增加候选译文表现形式的多样性。在3个不同规模训练集上的对比实验结果表明，在训练语料规模最小的情况下(10K句对1，系统性能有明显提升(BLEU+1．4％)；在训练语料规模最大的情况下(1M句对)，系统性能也取得一定提升(BLEU+0．32％1。关键词复述知识；短语翻译表；特征；解码器中

3、图分类号TP391ImprovedStatisticalMachineTranslationwithSourceLanguageParaphraseSUChen，ZHANGYujie，GUOZhen，XUJin’allSchoolofComputerandInformationTechnology,BeijingJiaotongUniversity,Beijing100044；十Correspondingauthor，E—mail：yjzhang@bjtu．edu．cnAbstractTheperformanceofstatist

4、ica1machinetranslation(SMT)suffersfromtheinsuficiencyofparallelcorpus．Tosolvetheproblem，theauthorsproposeaparaphrasebasedSMTframeworkwiththreesolutions：1)acquiringparaphraseknowledgebasedonathirdlanguage；2、expressingmultipleparaphrasesofinputsentenceinalatticeandmodif

5、yingdecodertobeabletoprocessit；3、integratingparaphraseknowledgeasfeaturesintolog-linearmode1．Inthisway，notonlymoreexpressionsinsourcelanguagecanbecovered，butalsomoreexpressionsintargetlanguagecanbegeneratedascandidatetranslations．Toverifyproposedmethod，experimentsarec

6、onductedonthreetrainingdatasetswithdifferentsizes，andevaluatetheimprovementoftheperformanceofSMTsystemcontributedbyparaphrasing．Experimentalresultsshowthatthetranslationperformanceisimprovedsignificantly(BLEU+1．4％)whentheparallelcorpusissmall(10K)，andagoodperformance(

7、BLEU+0．32％)isalsoachievedwhenparallelcorpusislargeenough(1M)．Keywordsparaphrase；phrasetranslationtable；features；decoder在统计机器翻译(SMT)中，系统性能往往受限研究人员开展了利用复述技术的机器翻译方法研于平行语料的规模。对于训练语料中未出现的词汇究，近年来成为研究的热点之一[1】。(oov)，SMT系统的通常做法是将其保留在翻译结复述是在同种语言内，表达与原始形式语义相果中，这样会严重影响译文的质量。同时，人工

8、构同而内容不同的表现形式。机器翻译系统无法翻译建大规模高质量平行语料比较费时费力，而自动构的句子，可以通过复述处理得到不同的表现形式，建平行语料又难以保证质量。为了解决这一问题，如果翻译系统可以翻译其中的某种表现形式，那么国家国际科技合作专项(20